攻城獅
Not a programmer 不工程的攻城獅

Follow

Not a programmer 不工程的攻城獅

Follow

Marketing / SEO - Google 具有兩種爬蟲 Discovery & Refresh

攻城獅's photo
攻城獅
·Jan 15, 2022·
Play this article

在 2022/01/07 的一場 Google SEO 視訊 上 Google 的研究人員 John Mueller 提到了這個資訊。

以下節錄重點

Googlebot 並不會以網站為單位的去抓取資料,而是會以一個網頁為單位的去抓資料。會有兩種爬蟲來去處理。

  1. Discovery 爬蟲會用來發掘網站中的新頁面
  2. Refresh 爬蟲則爬取那些更新的網頁,且是已發掘過的網頁

所以當發現某些頁面並不常更新的話,Googlebot 就不會那麼常去爬取網頁了。Googlebot 會識別這些網站並調整爬取的頻率。

Reference

 
Share this