Marketing / SEO - Google 具有兩種爬蟲 Discovery & Refresh

在 2022/01/07 的一場 Google SEO 視訊 上 Google 的研究人員 John Mueller 提到了這個資訊。

以下節錄重點

Googlebot 並不會以網站為單位的去抓取資料，而是會以一個網頁為單位的去抓資料。會有兩種爬蟲來去處理。

1. Discovery 爬蟲會用來發掘網站中的新頁面
2. Refresh 爬蟲則爬取那些更新的網頁，且是已發掘過的網頁

所以當發現某些頁面並不常更新的話，Googlebot 就不會那麼常去爬取網頁了。Googlebot 會識別這些網站並調整爬取的頻率。

Reference

• https://www.searchenginejournal.com/google-has-two-types-of-crawling-discovery-refresh/432432
• https://youtu.be/wmqrr7SLYJU