robot.txt
原创：http://www.qicheng.org/
robots.txt通常来说，是指一种协议，里面记载着是否让搜索引擎的爬虫爬取自己的网站或者允许哪些搜索引擎的爬虫访问，当然可以设置哪些文件不能被爬取，这对于网站的安全以及隐私权，有着非常大的意义。——此段由启程（www.qicheng.org）官方总结。
下面是百度百科的解释，启程认为解释的不太让人明白，但是还是发布出来，希望大家了解一下：搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
robots.txt文件放在网站的哪个位置
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站（比如 http://www.qicheng.org）时，首先会检查该网站中是否存在http://www.qicheng.org/robots.txt 这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
robots.txt写法
User-agent：
该项的值用于描述搜索引擎robot的名字，在“robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User- agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在“robots.txt”文件中，“User-agent：*”这样的记录只能有一条。
Disallow：
该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。
例如：“Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问， 而“Disallow: /help/”则允许robot访问/help.html，而不能访问/help/index.html。
任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在“/robots.txt”文件中，至少要有一条Disallow记录。如果“/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
robots.txt文件用法举例
例1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2、允许所有的robot访问
User-agent: *
Disallow:
（或者也可以建一个空文件 "/robots.txt" file）
例3、禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4、允许某个搜索引擎的访问
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
例5、一个简单例子
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。
User-agent:后的* 具有特殊的含义，代表“any robot”，所以在该文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现。
robots.txt文件存在的意义
有些人会问，既然robots文件没弄好，或出错了，会影响整个网站的收录，那为什么还要这个文件呢？
其实robots是为特定需要的站长准备的，因为有些网站，有一些页面是站长不想被SE收录的，所以才有了这个robots文件。
robots.txt的写法错误，可能会直接影响搜索引擎对于网站的爬取，如何知道是robots.txt写法的错误，可能这里大家就需要配合的http状态代码来分析了，如果大家对于http状态代码还是不太熟悉的话，请参考文章“HTTP 状态代码”，启程在这里说一声，桥页-门页-跳页，这些都是搜索引擎认为的作弊行为，如何想要提高用户的体验度，适当的增加Sitemap-网站地图，以及合理的使用面包屑导航，是非常不错的一些措施，希望大家做好站。
文章来源:http://www.qicheng.org/seo/robot.txt.html
转载请注明版权:SEO 浏览更多SEO文档，请关注青岛网站优化、青岛网站推广服务团队。
版权所有。转载时必须以链接形式注明文章原始出处！