robots.txt是搜索引擎訪(fǎng)問(wèn)你的網(wǎng)站時(shí)要查看的第一個(gè)文件。Robots.txt文件可以告訴蜘蛛程序或者爬蟲(chóng)程序（下簡(jiǎn)稱(chēng)搜索機器人）在你的服務(wù)器上什么文件是可以被查看的什么文件是不可以被查看的。

當一個(gè)搜索機器人訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì )首先檢查該站點(diǎn)根目錄下是否有robots.txt，如果有，搜索機器人就會(huì )按照該文件中的內容來(lái)確定訪(fǎng)問(wèn)的范圍；如果該文件不存在，所有的搜索機器人將能夠訪(fǎng)問(wèn)網(wǎng)站上所有沒(méi)有被口令保護的頁(yè)面。

robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫(xiě)。

語(yǔ)法：最簡(jiǎn)單的 robots.txt 文件使用規則：

· User-Agent: 適用下列規則的漫游器

· Disallow: 要攔截的網(wǎng)頁(yè)

·Allow:允許爬取的網(wǎng)頁(yè)

robots.txt文件用法舉例：

例1.禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的任何部分

User-agent: *

Disallow: /

例2.允許所有的robot訪(fǎng)問(wèn)

(或者也可以建一個(gè)空文件 "/robots.txt")

User-agent: *

Allow: /

另一種寫(xiě)法是

User-agent: *

Disallow:

例3. 僅禁止Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站

User-agent: Baiduspider

Disallow: /

例4. 僅允許Baiduspider訪(fǎng)問(wèn)您的網(wǎng)站

User-agent: Baiduspider

Allow: /

例5. 禁止spider訪(fǎng)問(wèn)特定目錄

在這個(gè)例子中，該網(wǎng)站有三個(gè)目錄對搜索引擎的訪(fǎng)問(wèn)做了限制，即robot不會(huì )訪(fǎng)問(wèn)這三個(gè)目錄。需要注意的是對每一個(gè)目錄必須分開(kāi)聲明，而不能寫(xiě)成 "Disallow: /cgi-bin/ /tmp/"。

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

例6. 允許訪(fǎng)問(wèn)特定目錄中的部分

url User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

例7. 使用"*"限制訪(fǎng)問(wèn)url

禁止訪(fǎng)問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

User-agent: *

Disallow: /cgi-bin/*.htm

例8. 使用"$"限制訪(fǎng)問(wèn)url

僅允許訪(fǎng)問(wèn)以".htm"為后綴的URL。

User-agent: *

Allow:/ .htm$

例9. 禁止訪(fǎng)問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面

User-agent: *

Disallow: /*?*

例10. 禁止Baiduspider抓取網(wǎng)站上所有圖片

僅允許抓取網(wǎng)頁(yè)，禁止抓取任何圖片。

User-agent: Baiduspider

Disallow: /.jpg$

Disallow: / .jpeg$

Disallow:/ .gif$

Disallow:/ .png$

Disallow: /.bmp$

例11. 僅允許Baiduspider抓取網(wǎng)頁(yè)和。gif格式圖片

允許抓取網(wǎng)頁(yè)和gif格式圖片，不允許抓取其他格式圖片

User-agent: Baiduspider

Allow: .gif$

Disallow: /.jpg$

Disallow:/ .jpeg$

Disallow:/ .png$

Disallow: /.bmp$

例12. 僅禁止Baiduspider抓取。jpg格式圖片

User-agent: /Baiduspider

Disallow:/ .jpg$

---