最近大連seo博客一直不斷的更換主題,每個主題的設置都不一樣，導致很多頁面被重復抓取了，為了以后避免這種情況就用robots.txt設置了一下，有關這樣的問題也有朋友問過我，我只說了用robots.txt屏蔽，沒有具體的說設置，其實至于WORDPRESS的ROBOTS設置在網上搜索一下很多，自己搜索一下就行了。閑話不扯了，為了以后再有朋友問，就在這里說一下設置，有關ROBOTS的解釋就不說了，直接上代碼：
WORDPRESS官方標準的robots代碼如下：
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /author/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # digg mirror User-agent: duggmirror Disallow: /
Copyright@ 2011-2016 版權所有：大連千億科技有限公司 遼ICP備11013762-3號 google網站地圖 百度網站地圖 網站地圖
公司地址：大連市沙河口區中山路692號辰熙星海國際2317 客服電話：0411-39943997 QQ：2088827823 37482752
法律聲明：未經許可，任何模仿本站模板、轉載本站內容等行為者，本站保留追究其法律責任的權利！ 隱私權政策聲明
