搜索蜘蛛的基本原理大家應該都知道，搜索引擎的蜘蛛一般分為兩類(lèi)，這第一類(lèi)的主要工作就是收集網(wǎng)頁(yè)的中有效的URL。它們的任務(wù)是一刻不停地掃描Internet資源，以隨時(shí)更新其搜索引擎龐大的url列表以供它的第二類(lèi)蜘蛛使用。也就是說(shuō)，當這一類(lèi)蜘蛛訪(fǎng)問(wèn)我們網(wǎng)頁(yè)的時(shí)候，并不在于索引我們的網(wǎng)頁(yè)，而是在尋找網(wǎng)頁(yè)中的所有有效鏈接。

1.工具功能：可以模擬蜘蛛抓取指定網(wǎng)頁(yè)，包括Text、Link、Keywords及Description信息等。

2.查詢(xún)網(wǎng)址：http://www.webconfs.com/search-engine-spider-simulator.php

3.說(shuō)明：這是國外的一個(gè)網(wǎng)站，對GB版的網(wǎng)頁(yè)中文支持不好，但我們大概能看出蜘蛛在我們網(wǎng)頁(yè)查找的信息。

---