您好,欢迎来到达网官方网站           客户ID 密码   注册 忘记密码?
达网
全国服务热线  
帮助中心 | 付款方式

robots.txt搜索引擎配置文件全解释

1、允许所有的搜索引擎访问你的网站的任何部分,这是通常的用法。
User-agent: *
Allow: /

2、禁止所有搜索引擎访问网站的任何部分,也就是是禁止任何搜索引擎收录你的网站。
User-agent: *
Disallow: /

3、仅禁止某一搜索引擎访问你的网站。百度是baiduspider Google是googlebot
User-agent: baiduspider
Disallow: /
或者
User-agent: googlebot
Disallow: /

4、仅仅允许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot
User-agent: baiduspider
Allow:
或者
User-agent: googlebot
Allow:

5、如果你网站的某个目录不希望被搜索引擎收录,写法如下:
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
注意:不能写成Disallow: /目录名称1/ /目录名称2/ 这样的形式,每个目录要单独另起一行特别说明。

6、禁止搜索引擎访问网站中所有的动态页面(动态页面就是URL中任何带有“?”的页面)
User-agent: *
Disallow: /*?*

7、仅仅允许搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Allow: .后缀形式(如.html、.htm、.php等等)$
Disallow: /

8、限制搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Disallow: /*.后缀形式(如.html、.htm、.php等等)

9、允许搜索引擎访问特定目录中的网页(多个时分行写)
User-agent: *
Allow: /目录1/目录2(允许访问目录2中的网页)
Allow: /目录3/目录4(允许访问目录4中的网页)
Allow: /目录5/目录6(允许访问目录6中的网页)
Disallow: /目录1/
Disallow: /目录3/
Disallow: /目录5/

10、阻止搜索引擎访问网站中特定某一文件格式的文件,如图片(注意不是网页)
User-agent: *
Disallow: /*.(文件格式:如gif、jpg等等)$


以上是一些常用的格式。具体的写法还要以各个网站需求而定。写robots.txt还要注意以下一些问题:
1、robots.txt文件是以纯文本格式保存的txt文件。
2、robots.txt必须放置在网站的根目录中。最上层的robots.txt文件必须这样被访问:如安徽SEO网站写的robots.txt http://www.wanseo.com/robots.txt
3、书写robots.txt时要严格按照以上大小写形式书写
4、通常你的网站如果比较简单,那么以上的格式足够你使用的了。如果比较复杂,需要访问这里而又不需要访问那里,禁止这个文件又要允许那个文件,允许访问访问带有“?”符号的特定网页等等,那么你需要结合以上格式仔细研究合适于你网站的robots.txt文件写法。
5、robots.txt通常在某个分目录中还可以存在,但是如果与顶级目录中的robots.txt有冲突,则以顶级目录中robots.txt命令为准。
6、仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。这一点通常被人们忽略,实际上建立空的robots.txt文件对搜索引擎非常不友好。
7、如果你不想自己动手写robots.txt文件,那么请Google帮你写。登录Google网站管理平台,有生成robots.txt文件的功能。
8、User-agent: *
Disallow: /
这种格式不仅仅是禁止抓取页面,更重要的是如果你的网站被收录了,然后又把robots.txt文件修改成以上格式,那么你的网站将在搜索引擎中被删除,整个地删除。
9、元标记对于一般的网站来说可有可无,不过你还是得了解:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">(允许抓取该页面,允许跟着该页面上的链接继续抓取)
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">(不允许抓取该页面,允许跟着该页面上的链接继续抓取)
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">(允许抓取该页面,不允许跟着该页面上的链接继续抓取)
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">(不允许抓取该页面,不允许跟着该页面上的链接继续抓取)
10、需要删除一些被搜索引擎收录的特定网页,参考http://www.google.com/support/webmasters/bin/answer.py?answer=35301
好像目前只有Google这么做。

Copyright 2006-2012 dw.net.cn 达网网络技术有限公司 版权所有
公司地址:宁波市大梁街118号世纪广场B座19楼1902室 [地图] 邮编:315000
中文域名:达网.cn  公司微博:weibo.com/dwnetwork  信产部备案号:浙ICP备09010049号
软件开发, 行业软件, 网站建设, 网站托管, 服务器技术  网站地图 RSS订阅