搜索引擎蜘蛛訪問網站頁面的原理

時間：2021-10-19

   在網站的抓取與排名原理中，搜索引擎用來爬行和訪問頁面的程序，被稱為蜘蛛或者機器人。

   搜索引擎蜘蛛訪問網站頁面與我們普通用戶使用的瀏覽器訪問原理是一樣的，蜘蛛程序發送頁面訪問請求后服務器返回html代碼，蜘蛛程序把收到的這些html代碼存入原始頁面數據庫,搜索引擎為了提高爬行和抓取速度，可能會使用多個蜘蛛并發分布爬行。

   搜索引擎蜘蛛訪問任何一個網站時，都會事先訪問網站根目錄下面的robot.txt文檔，如果robot.txt文檔禁止訪問搜索引擎抓取某些文件或目錄，則蜘蛛將遵守協議繞開被禁止的頁面。

   搜索引擎蜘蛛和瀏覽器一樣，也會有標明自己身的身份和代理名稱，我們網站優化人員可以在網站日志文件中看到收轉型的特定用戶代理，從而辨識是否是蜘蛛，通過研究分析針對性的優化網頁HTML和網站文章的更新頻率。