林博文SEO指令教學-林博文SEO專業術語教學

林博文SEO指令教學 noindex的作用

頁面<head>中放上meta noindex標籤是告訴搜尋引擎:「請勿索引」這個URL,林博文SEO指令教學 也就是使用者搜索時,是找不到這個URL的資訊的,這個URL也不會出現在搜索結果列表中。

noindex並非是向搜尋引擎蜘蛛說老兄你別抓取這個URL唄,實際上,noindex要起作用,這個URL是必須先被抓取的,不然搜尋引擎蜘蛛怎麼能夠識得HTML代碼中有noindex標籤呢對吧?

林博文SEO指令教學 robots檔 的作用

robots檔,是要來告訴搜尋引擎蜘蛛,某些URL請不要抓取。注意!林博文SEO指令教學 這裡說的是不要抓取,沒說不要索引。和noindex是正相反的。

林博文SEO指令教學 nofollow 的作用

給連結加上nofollow屬性是告訴搜尋引擎蜘蛛,不要沿著這個連結爬行,林博文SEO指令教學 就當這個連結不存在。注意!nofollow只是告訴蜘蛛不要爬這個連結,沒有說不要抓取連結指向的URL,也沒有說不要索引連結指向的URL,nofollow既沒禁止抓取,也沒禁止索引。

以上這些概念說明過了以後,指出幾個SEOer容易產生混淆的情況:

noindex

nofollow

robots

被爬行

X

被抓取

X

被索引

X

noindex、nofollow、robots檔與爬行、抓取、索引的個別作用分析。

林博文SEO指令教學 情況1. 沒被抓取的頁面事實上是可以被索引的

也就是說,搜尋引擎蜘蛛沒有訪問和抓取這個頁面(比如被robots檔禁止抓取),這個頁面卻有資訊存在索引庫中,使用者搜索時還能看到。

舉例:淘寶整個網站用robots檔禁止百度蜘蛛抓取,但沒有用noindex禁止索引(如上面說的,禁止抓取後,就沒辦法禁止索引了,不抓取,就看不到noindex標籤了),所以即使百度沒有訪問和抓取淘寶頁面,但淘寶很多頁面是被百度索引的,使用者可以搜到的:

淘寶禁止百度抓取,但沒有禁止索引

百度從網上那麼多連結知道淘寶首頁的存在,通過連結的錨文字也知道這個頁面標題大概是淘寶之類的,當然更知道百度口碑裡的評價數。所以即使百度蜘蛛沒有抓取淘寶首頁,使用者還是能搜到,並且顯示一些百度知道的資訊。

要想百度不能返回淘寶首頁該怎麼辦呢?取消robots檔的禁止抓取,網頁標籤寫入noindex禁止索引。

林博文SEO指令教學 情況2. 被抓取的頁面是可以不被索引的

最常見的就是上面說過的,網頁<head>中使用noindex禁止索引,網頁被抓取,讀到noindex後,不被索引,不會在搜索結果中返回。例如老舊頁面新加noindex也不是馬上刪除索引,還會保留索引一段時間,但不會在搜索結果中。

加了noindex的頁面上的連結是可以被跟蹤一段時間的,但時間長了,有noindex的頁面搜尋引擎可能就不再抓取和索引了,上面的連結也就無效了。

當然還有一種可能,也許是因為被辨識出網頁內容是抄襲、轉載、低品質的,即使搜尋引擎蜘蛛抓取了網頁,索引過程中檢測出這些內容問題,而被丟棄,沒有被索引。所以頁面沒有被收錄,通常要先檢查原始日誌,看看是否被抓取過,如果被抓取過,可能是內容品質問題,如果根本沒被抓取,建議先看看網站結構是否有問題。

林博文SEO指令教學 情況3. 加了nofollow的連結目標頁面可以被抓取和索引

前面說明曾提及,nofollow既不禁止抓取,也不禁止索引。nofollow的作用是告訴蜘蛛不要跟著這個連結爬,就當這個連結不存在,但nofollow只對這個連結起作用,對別的連結沒作用,這個連結加了nofollow,不意味著別的地方就沒有正常的指向這個URL的連結,只要別的地方出現了沒加nofollow的連結,目標URL還是會被發現、抓取(假設沒被robotx檔禁止)、索引(假設沒加noindex )。

 

林博文,林博文優化教學,林博文SEO指令教學,林博文優化設置教學,林博文優化網站技巧教學,林博文搜尋引擎優化技巧,林博文優化教學

Author: 林博文國瑞

國瑞集團-林博文董事長