蜘蛛機器人訪問索引頁面應該遵循Robots Meta規范標簽。Robots Meta標簽應該放到頁中面的什么位置呢？Robots Meta標簽跟任何一種META的標簽都是統一的。

那么我們如何使用Robots Meta標簽呢？

例如content具備多重屬性的時候要用逗號隔開，同時注意一個標簽不能同時具備相悖的屬性，比如index與noindex就不能同時出現在content的標簽中，使用的時候應該多加注意。

Robots Meta放在HTML和HEAD的網頁代碼內部。格式如下：

介紹一下content標簽中經常用到的屬性

NOODP -搜索結果中不使用

NOINDEX -屏蔽蜘蛛 哈哈（不索引當前頁面）

NOFOLLOW -不跟蹤當前頁面中所有的鏈接

NOARCHIVE -在搜索結果中不保存當前頁面的快照

DMOZ中的描述信息，MSN、Yahoo也支持此類標簽。

NONE -不索引當前頁面以及其中的所有鏈接，跟“NOINDEX, NOFOLLOW” 含義相同

NOSNIPPET - 在搜索結果中不采用當前頁面的頭部描述信息，且不保存當前頁面的快照

通過以上標簽的設置我們就可以輕松的設置自己想要的，比如屏蔽蜘蛛，不保存當前快照，或者優化人員針對相關引擎做一些標簽的表現形式。

---