Marketing / SEO - Google 具有兩種爬蟲 Discovery & Refresh
在 2022/01/07 的一場 Google SEO 視訊 上 Google 的研究人員 John Mueller 提到了這個資訊。
以下節錄重點
Googlebot 並不會以網站為單位的去抓取資料，而是會以一個網頁為單位的去抓資料。會有兩種爬蟲來去處理。
- Discovery 爬蟲會用來發掘網站中的新頁面
- Refresh 爬蟲則爬取那些更新的網頁，且是已發掘過的網頁
所以當發現某些頁面並不常更新的話，Googlebot 就不會那麼常去爬取網頁了。Googlebot 會識別這些網站並調整爬取的頻率。