最近大連seo博客一直不斷的更換主題,每個(gè)主題的設置都不一樣，導致很多頁(yè)面被重復抓取了，為了以后避免這種情況就用robots.txt設置了一下，有關(guān)這樣的問(wèn)題也有朋友問(wèn)過(guò)我，我只說(shuō)了用robots.txt屏蔽，沒(méi)有具體的說(shuō)設置，其實(shí)至于WORDPRESS的ROBOTS設置在網(wǎng)上搜索一下很多，自己搜索一下就行了。閑話(huà)不扯了，為了以后再有朋友問(wèn)，就在這里說(shuō)一下設置，有關(guān)ROBOTS的解釋就不說(shuō)了，直接上代碼：
WORDPRESS官方標準的robots代碼如下：
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /author/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # digg mirror User-agent: duggmirror Disallow: /
Copyright@ 2011-2016 版權所有：大連千億科技有限公司 遼ICP備11013762-3號 google網(wǎng)站地圖 百度網(wǎng)站地圖 網(wǎng)站地圖
公司地址：大連市沙河口區中山路692號辰熙星海國際2317 客服電話(huà)：0411-39943997 QQ：2088827823 37482752
法律聲明：未經(jīng)許可，任何模仿本站模板、轉載本站內容等行為者，本站保留追究其法律責任的權利！ 隱私權政策聲明
