林博文SEO搜尋引擎解析-林博文SEO教學

林博文SEO搜尋引擎解析-林博文SEO教學 技術人員必懂的SEO關鍵1-爬行、抓取、索引、收錄,指的都是什麼?

今天要提供幾個既基本、又重要,但容易混淆的SEO操作概念介紹。

觀察過許多SEO的網路知識或論壇後,林博文SEO搜尋引擎解析-林博文SEO教學 並沒能實際去理解「爬行」、「抓取」、「索引」、「收錄」這些操作概念到底實質邏輯為何。

對這些概念搜遍各大SEO知識庫會發現,其實並沒有一個絕對性的解釋。由於處理大型網站結構,決定什麼頁面需要被抓取,什麼需要被索引,哪些頁面需要禁止抓取、禁止索引等等情況時,就很難明白該怎麼做。以下就針對這幾個面向的操作邏輯來說明。

林博文SEO搜尋引擎解析,林博文SEO教學,林博文SEO講師,林博文seo講座,林博文搜尋引擎教學,林博文搜尋引擎排名優化,林博文

林博文SEO搜尋引擎解析-林博文SEO教學 爬行

爬行,主要是以搜尋引擎蜘蛛從已知頁面上,解析出連結指向的URL,然後沿著連結,而發現新頁面的過程(也就是連結所指向的URL)。

當然,搜尋引擎蜘蛛並不是一發現新URL,就馬上就爬過去爬取新頁面,而是把發現的URL存放到待抓地址庫中,搜尋引擎蜘蛛按照一定順序,從位址庫中提取要抓取的URL。當然我們今天沒有要討論搜尋引擎蜘蛛爬行的順序為何,這塊可以以後再發文說明。

林博文SEO搜尋引擎解析-林博文SEO教學 抓取

抓取,指的是「搜尋引擎蜘蛛→從待抓網址庫中→提取要抓取的URL,訪問這個URL,把讀取的HTML代碼存入資料庫」的過程。

搜尋引擎蜘蛛的抓取,彷如使用一流覽器打開這個頁面,和使用者使用流覽器訪網頁一樣,也會在伺服器原始日誌中,留下記錄。

林博文SEO搜尋引擎解析,林博文SEO教學,林博文SEO講師,林博文seo講座,林博文搜尋引擎教學,林博文搜尋引擎排名優化,林博文

林博文SEO搜尋引擎解析-林博文SEO教學 索引

索引;指的是將一個URL的資訊進行整理,存入資料庫,也就是索引庫,使用者在網路上進行搜索時,搜尋引擎從索引庫中提取URL資訊,並排序展現出來。

「索引」的英文是"index"。「索引庫」是用於被搜索的資料庫,所以被索引的URL是可以被用戶搜索到的;相對的,沒被索引的URL,使用者在搜索結果裡,是找不到的。

要注意的是,所謂“一個URL的資訊“,並不限於搜尋引擎蜘蛛從URL上抓取來的內容,還有來自其它來源的資訊,如外部連結、連結的錨文字等。會有一種狀況就是,存在於索引庫中關於這個URL的資訊,事實上根本沒有從這個URL抓取來的內容,但搜尋引擎知道這個URL的存在,並且有一些其它資訊。

所以,「抓取」和「索引」,一直都是兩件事。

林博文SEO搜尋引擎解析-林博文SEO教學 收錄

收錄是若是從「搜索用戶」角度看的,搜索時能找到這個URL,就是這個URL被收錄了。

若是從搜尋引擎角度看,URL被收錄了,也就是這個URL的資訊在索引庫中存在。英文當中並沒有”收錄”這個詞,和”索引”用的就是為同一個字詞”index”。

以上針對搜尋引擎爬行、抓取、索引、收錄的邏輯說明,希望能夠幫助大家瞭解到網站營運SEO的操作與影響。

林博文SEO搜尋引擎解析,林博文SEO教學,林博文SEO講師,林博文seo講座,林博文搜尋引擎教學,林博文搜尋引擎排名優化,林博文

Author: 林博文國瑞

國瑞集團-林博文董事長