詳細解釋
爬蟲（Crawler，有時也叫 Spider）是搜尋引擎派出的自動程式，會像機器人一樣在網路世界不停點擊超連結、拜訪各個網頁，並把看到的內容帶回去給搜尋引擎分析。當你建立新網站、發布新文章時，如果沒有被爬蟲發現與抓取，後面的索引與排名就完全不會發生，所以可以把爬蟲想像成「搜尋引擎的眼睛和腳」。實務上，爬蟲會特別依照 網站地圖（Sitemap） 提示的路線優先抓取重要頁面，同時也會遵守網站根目錄下的 robots.txt 設定，尊重哪些區域不能進入。對做 SEO（搜尋引擎優化） 的人來說，理解爬蟲的工作方式，有助於設計清楚的網站結構與內部連結，讓新內容更快被發現，而不是悄悄躺在角落多年都沒出現在搜尋結果裡。