蜘蛛機器人訪(fǎng)問(wèn)索引頁(yè)面應該遵循Robots Meta規范標簽。Robots Meta標簽應該放到頁(yè)中面的什么位置呢？Robots Meta標簽跟任何一種META的標簽都是統一的。

那么我們如何使用Robots Meta標簽呢？

例如content具備多重屬性的時(shí)候要用逗號隔開(kāi)，同時(shí)注意一個(gè)標簽不能同時(shí)具備相悖的屬性，比如index與noindex就不能同時(shí)出現在content的標簽中，使用的時(shí)候應該多加注意。

Robots Meta放在HTML和HEAD的網(wǎng)頁(yè)代碼內部。格式如下：

介紹一下content標簽中經(jīng)常用到的屬性

NOODP -搜索結果中不使用

NOINDEX -屏蔽蜘蛛 哈哈（不索引當前頁(yè)面）

NOFOLLOW -不跟蹤當前頁(yè)面中所有的鏈接

NOARCHIVE -在搜索結果中不保存當前頁(yè)面的快照

DMOZ中的描述信息，MSN、Yahoo也支持此類(lèi)標簽。

NONE -不索引當前頁(yè)面以及其中的所有鏈接，跟“NOINDEX, NOFOLLOW” 含義相同

NOSNIPPET - 在搜索結果中不采用當前頁(yè)面的頭部描述信息，且不保存當前頁(yè)面的快照

通過(guò)以上標簽的設置我們就可以輕松的設置自己想要的，比如屏蔽蜘蛛，不保存當前快照，或者優(yōu)化人員針對相關(guān)引擎做一些標簽的表現形式。

---