摘要：如何设置让搜索引擎不收录我们的网站，最有效最简单的方式是采用robots.txt，把现有的主流搜索引擎的蜘蛛机器人都屏蔽...
如何设置让搜索引擎不收录我们的网站，最有效最简单的方式是采用robots.txt，把现有的主流搜索引擎的蜘蛛机器人都屏蔽掉，这样就能保障我们的新站不被收录，方法我们进行内容调整和框架布局。以下是一个比较全面的从百度、谷歌、搜狗、雅虎全系列的搜索引擎蜘蛛屏蔽方法，复制以下代码，复制上传到你的网站根目录，大功告成。妈妈再也不用担心我的网站被收录了。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 |
User-agent: Baiduspider Disallow: / User-agent: Googlebot Disallow: / User-agent: Googlebot-Mobile Disallow: / User-agent: Googlebot-Image Disallow:/ User-agent: Mediapartners-Google Disallow: / User-agent: Adsbot-Google Disallow: / User-agent:Feedfetcher-Google Disallow: / User-agent: Yahoo! Slurp Disallow: / User-agent: Yahoo! Slurp China Disallow: / User-agent: Yahoo!-AdCrawler Disallow: / User-agent: YoudaoBot Disallow: / User-agent: Sosospider Disallow: / User-agent: Sogou spider Disallow: / User-agent: Sogou web spider Disallow: / User-agent: MSNBot Disallow: / User-agent: ia_archiver Disallow: / User-agent: Tomato Bot Disallow: / User-agent: * Disallow: / |
