Crawl Errors Google 搜尋抓取錯誤

4458

Preview Summary

website Reviews : 36 5.0

Google 搜尋引擎抓取錯誤的修正方法。當我們提供來源讓 Googlebot 抓取資料時,要注意錯誤的抓取訊息 Crawl errors。因為這可能導致網站的品質與信任度下降。除了注重資訊來源提供正確的鏈接結構,也能藉此將分散的索引資料篩選並重新檢討索引密度。

Google 搜尋引擎抓取錯誤 How to fix crawl errors in google webmaster tools

當我注意到來訪紀錄時,對於一個沒有知名度與搜尋引擎權重的網站,能有超過四位數的流量紀錄,我一點也開心不起來。如果當初我採取文章匯入的網站遷移方式,是能夠保持原有 Dream Talker 的搜尋排名。但我決定改變永久鏈結的結構並重新發文時,「馬克十二」就是一個重新開始的小嬰兒。所以這奇異的流量紀錄必然是因為 Google 網站索引或搜尋機器人抓取的問題,可以由第一篇「夢境世界」得到證明。

其實 Crawl Error 不是什麼太嚴重的問題。在 Google Webmaster Tools 的分析中,「索引」(Index)與「抓取」(Crawl)是兩回事。我所在意的是如何控制適當的「索引」紀錄,Crawl 不小心的抓取錯誤不是問題;也許下次蜘蛛就會忽略這個錯誤。但麻煩的是「馬克十二」不是一個充滿已經索引文章紀錄,或原創作者標記的部落格;也沒有權重。這時候如果在搜尋引擎的眼裡是個爬滿錯誤連結蜘蛛絲的網站,那麼我很有可能被打入無間地獄,很難從搜尋結果中起死回生。因此必須立刻解決這個搜尋索引錯誤的麻煩!

移除 Crawl Errors 三階段

第一階段

先來說如何移除錯誤 Crawl。

進入 Google webmaster tools 管理頁面,在 Crawl Errors 頁面勾選「Priority」,將全部的紀錄標示為已修正(Mark as Fixed)。一般作到這一步驟即可,觀察幾天後仍然出現錯誤連結訊息,那表示要作到更徹底的移除動作 – 第二階段。

google crawl

第二階段

佈滿原創標記的連結索引是很開心的事,但是萬一這些連結成為 404 Errors,那就成為惡夢。我看到這一堆錯誤的連結就很後悔太早提醒搜尋機器人索引新網域,見此:Blogger 自訂網域

由於 Googlebot 多次確認這些連結是否已經消失或移除,這個動作是漫長又難以控制的,我可不希望被黑了幾個月後才慢慢漂白。所以決定一次移除該連結省下蜘蛛的來往確認動作,如圖一,下載所有錯誤名單。

google crawl

我採用下載 Google 文件的方式,方便直接在瀏覽器操作刪除動作。

google crawl error

接著會開啟新分頁,滑鼠點下表單上的連結,善用 Ctrl+C 複製連結。

google crawl error

回到 Webmaster Tools 頁面,選取左側移除連結的選項,新增移除請求時利用 Ctrl+V、Enter 貼入連結後確認移除。

野火燒不盡 春風吹又生

第三階段

如果移除了抓取路徑與庫存頁面,之後仍然繼續出現錯誤抓取,這表示你在某些通知 Google 搜尋引擎的服務器沒有更新或使用正確資料。例如經常被使用的關聯文章外掛、留言板、RSS、部落格聯播﹍等等,沒有更正為正確的網域。

又例如您的 sitemap、robots.txt 裡面的提供來源根本就是寫錯的!所以 Googlebot 會按照你的文件要求,不斷去抓取錯誤的連結。修正這些因素才能讓搜尋機器人專心索引您的網站 :)

Google Index 不是你可以控制或修改的,所以只能修改來源文件使 Index(索引結果)發生改變。
36
· · ·