搜索蜘蛛的基本原理大家應該都知道，搜索引擎的蜘蛛一般分為兩類，這第一類的主要工作就是收集網頁的中有效的URL。它們的任務是一刻不停地掃描Internet資源，以隨時更新其搜索引擎龐大的url列表以供它的第二類蜘蛛使用。也就是說，當這一類蜘蛛訪問我們網頁的時候，并不在于索引我們的網頁，而是在尋找網頁中的所有有效鏈接。

1.工具功能：可以模擬蜘蛛抓取指定網頁，包括Text、Link、Keywords及Description信息等。

2.查詢網址：http://www.webconfs.com/search-engine-spider-simulator.php

3.說明：這是國外的一個網站，對GB版的網頁中文支持不好，但我們大概能看出蜘蛛在我們網頁查找的信息。

---