robots.txt
robots.txt通常来说，是指一种协议，里面记载着是否让搜索引擎的爬虫爬取自己的网站或者允许哪些搜索引擎的爬虫访问，当然可以设置哪些文件不能被爬取，这对于网站的安全以及隐私权，有着非常大的意义。——此段由启程（www.qicheng.org）官方总结。
robots.txt的写法错误，可能会直接影响搜索引擎对于网站的爬取，如何知道是robots.txt写法的错误，可能这里大家就需要配合的http状态代码来分析了，如果大家对于http状态代码还是不太熟悉的话，请参考文章“HTTP 状态代码”，启程在这里说一声，桥页-门页-跳页，这些都是搜索引擎认为的作弊行为，如何想要提高用户的体验度，适当的增加Sitemap-网站地图，以及合理的使用面包屑导航，是非常不错的一些措施。
本篇文章修改自：http://www.qicheng.org/seo/robot.txt.html，如果以前的文章已经参考，这篇文章没有太多必要研究，与其研究robots，启程建议您研究网站标题的TITLE，将更有深层意义。
网页爬取器
网页爬取器(gatherer)，指网页搜索集子系统中根据url完成一篇页面爬取的进程，或者线程，通常一个搜索子系统上会同时启动多个gatherer并行工作。
网页爬取器(gatherer)，另外一种称呼就是搜索引擎蜘蛛或者蜘蛛，具体的概念性的东西，将不再说明，不明白的朋友，直接参考上面两个链接。
启程（www.qicheng.org）青岛网站优化（SEO）团队的成员认为，网页爬取器，其实就是我们一直在强调的蜘蛛、网络蜘蛛、搜索引擎蜘蛛，这几个名字其实都是一样的，一个概念性的东西，大家了解就可以了，但是搜索引擎蜘蛛的工作原理，大家还是需要掌握的，参加可以参考文章“搜索引擎蜘蛛的访问规则”，详细的了解一下，在抓取网页的时候，搜索引擎蜘蛛一般有两种搜索策略：广度优先搜索策略和深度优先搜索策略。
CMS是什么意思？
CMS是什么意思呢？从站长的角度思考，CMS是一种系统程序，全名“内容管理系统”，CMS是Content Management System的缩写，当然CMS还有一种含义“通信管理控制系统”，我们姑且就在这里不谈这个概念了。
CMS具有许多基于模板的优秀设计，可以加快网站开发的速度和减少开发的成本。CMS的功能并不只限于文本处理，它也可以处理图片、Flash动画、声像流、图像甚至电子邮件档案。CMS其实是一个很广泛的称呼，从一般的博客程序，新闻发布程序，到综合性的网站管理程序都可以被称为内容管理系统。
启程青岛网站推广团队的波波建议大家，如果大家有时间的话，参考一下文章“DIV+CSS页面布局，在网站内部优化中的重要作用”，对于网站内部代码的优化，非常到位，网站内容更新频率是一个重点，一定要理解，为了能做好网站，还请多多的参考文章“最有效的SEO网站培养方法”，如果大家对于SEO的基本概念，不是很清楚的话，波波建议大家，参考“SEO名词”。
CMS是什么意思呢？我想大家都基本上有了自己的理念了，好好努力吧。
网站标题TITLE
什么是网站标题？可能对于一些接触互联网很久的朋友来说，不会陌生，但是启程认为，很多SEO新人都没有注意到网站标题的重要性，或者根本都不知道如何做好网站标题-tilte的优化工作。
网页标题是对一个网页的高度概括，一般来说，网站首页的标题就是网站的正式名称，而网站中文章内容页面的标题就是文章的题目，栏目首页的标题通常是栏目名称。当然这种一般原则并不是固定不变的，在实际工作中可能会有一定的变化，但无论如何变化，总体上仍然会遵照这种规律。
有人网站标题要尽量的多出现自己网站的关键词，启程建议大家，不是尽量多的出现，而是使用一两个核心关键词就足够了，多了反而会产生相反的作用，如果大家不相信，请参考文章“关键字密度”、“关键词密度”、“关键字堆砌”，也许看完之后，您能明白点。
与网站标题优化想雷同的，还有网站的keywords和description，详细文章请参考“关键字-keyword”、“网站描述对搜索引擎友好方面有着不可忽视的作用”，虽然启程曾经发布过文章“keywords不再参与搜索引擎关键词排名”，但是合理的使用keywords，也是一种不错的选择，大家在写关键词的时候，启程波波建议大家先参考一下文章“SEO关键词分析”，在网站上线之后，不要轻易的修改网站标题title了。
Google Dance
Google dance是指Google搜索引擎数据库每月一次的大规模升级。
Google搜索引擎数据库在升级期间，新的网页被加入，无效网页被删除，对收录网站进行全面深度检索，也可能在这期间调整算法。Goolge搜索结果显示出剧烈的排名波动，同时被索引网站的外部链接也获得更新。每个季度更新一次的网页级别（Page Rank）也发生在Google dance期间。Dance一般持续几天时间，Dance结束后，Google搜索结果和网站外部链接数量趋于稳定，直至下一个周期的Google dance到来。
Google Dance 对于SEO 来说，涉及的注意事项如下：
1.网站的提交及更新时间。
在Google Dance 期间，新网站被收录的机会增大，因此宜在Google Dance 其间提交新网站及加大网站更新力度。
2.静观其变，及时跟进。 由于数据调整有一个过程，Google Dance 期间的普遍表现是排名波动不稳定，忽上忽下，也可能在这期间调整排名算法。所以在Google Dance 结束后，针对排名升降结果和竞争对手的排名情况调整自己的优化策略。
广度优先搜索策略
搜索引擎蜘蛛在抓取网页的时候，一般有两种搜索策略：广度优先搜索策略和深度优先搜索策略。
广度优先是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中 的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。
广度相对深度，对数据抓取更容易控制些，对服务器的负栽相应也明显减轻了许多， 爬虫的分布式处理，使的速度明显提高。
启程官方（www.qicheng.org）可能谈了那么久，大家对于搜索引擎蜘蛛的概念还比较模糊，如果是的话，建议大家先阅览文章“搜索引擎蜘蛛”，在了解了深度优先搜索策略之后，您是不是对于搜索引擎有了新的认识，对于SEO有了新的看法？不会对于SEO的概念还是模糊吧？什么是SEO？还需要再看看吗？再看看吧……
深度优先搜索策略
搜索引擎蜘蛛在抓取网页的时候，一般有两种搜索策略：广度优先搜索策略和深度优先搜索策略。
深度优先搜索策略是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。
优点：网络蜘蛛在设计的时候比较容易；
缺点：不适合大数据量的网站的使用，更加不适合未来搜索引擎的使用；
当然，当人们刚刚掌握深度优先搜索的时候，常常用它来走迷宫。事实上，我们还有别的方法，那就是广度优先搜索(BFS)状态（state)：状态是制问题求解过程中每一步的状况。广度优先搜索策略，大家可以参考文章“广度优先搜索策略”。
启程官方（www.qicheng.org）可能谈了那么久，大家对于搜索引擎蜘蛛的概念还比较模糊，如果是的话，建议大家先阅览文章“搜索引擎蜘蛛”，在了解了深度优先搜索策略之后，您是不是对于搜索引擎有了新的认识，对于SEO有了新的看法？不会对于SEO的概念还是模糊吧？什么是SEO？还需要再看看吗？再看看吧……
搜索引擎蜘蛛
搜索引擎蜘蛛即Web Spider，是搜索引擎研究者给予搜索引擎爬行程序，也就是我们通常所说的一个抓取网页的程序的一个很形象的称呼。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
在抓取网页的时候，搜索引擎蜘蛛一般有两种搜索策略：广度优先搜索策略和深度优先搜索策略。
搜索引擎蜘蛛都有自己的名字，在抓取网页的时候，都会向网站标明自己的身份。搜索引擎蜘蛛在抓取网页的时候会发送一个请求，这个请求中就有一个字段为User －agent，用于标识此搜索引擎蜘蛛的身份。如果网站管理员发现某个蜘蛛有问题，就通过其标识来和其所有者联系，查看日志记录，其实查看的都是一些http状态代码，有不清楚的朋友，可以参考文章“HTTP 状态代码”。
搜索引擎蜘蛛进入一个网站，一般会访问一个特殊的文本文件Robots.txt，这个文件一般放在网站服务器的根目录下。网站管理员可以通过robots.txt来定义哪些目录网络蜘蛛不能访问，或者哪些目录对于某些特定的网络蜘蛛不能访问，如果大家不太了解Robots，请直接参考文章“robot.txt”。
启程搜索引擎优化团队（www.qicheng.org）告诉您，搜索引擎蜘蛛实际上抓取的页面，并不是我们眼睛看到的东西，而是抓取的页面代码，也就是我们所了解到的HTML代码，HTML代码是一种语言，当然说的直接一点，就是一些特定的符号，表示特定的信息。如果大家对于搜索引擎蜘蛛的爬行比较敢兴趣，可以阅读文章“搜索引擎蜘蛛的访问规则”。
锚链接
锚链接有两种，一种是不同页面间的锚链接。另外一种是页内锚链接，我们一般称为页内锚链接。
锚链接在SEO界实际上就是链接文本，又叫锚文本，锚文本，一般情况下，就是我们在别人网站上看到的链接文本，锚文本，英文名叫anchor text。
如何创建页内锚链接？
首先，应确定锚的名称。比如，我们仅使用“anchor”为名称。然后使用 <a name="anchor"> 代码定义锚放置的位置，以便无论何时链接这个锚，都可以通过调用这个锚的名称，将您直接到带到这个位置。
青岛搜索引擎优化团队（www.qicheng.org）建议您，在网页设计中选择合适的锚文本，会让所在网页和所指向网页的重要程度有所提升，如果大家想要了解详细的作用，请参考文章“反向链接的原则”。
启程主要针对的是页外锚链接，请大家不要误解锚链接，与本文章相关文章，请参考“锚文本”、“网站外部链接”、“如何增加网站的外部链接”、“什么样的外部链接才算是好的外部链接”、“如何寻找高质量的外部链接”。
PR劫持
PR劫持，也就是使用某些欺骗手段，获得工具条上比较高的PR值显示。(如果大家对于PR值不是太了解的话，建议大家参考文章“Goolge的PageRank算法简单理解”、“详细了解PR（PageRank）在网站优化中的作用”。)
启程（www.qicheng.org）官方建议大家，在寻找和买链接的时候，如果对方炫耀的就是高PR值，都要非常小心。建立链接应该以内容的相关性为最主要的考量，如果不清楚，请参考文章“网站相关性”、“网站的内容质量”，PR高低对实际排名影响没有很多人想象的那么重要，当然我们倡导大家不要购买链接，曾经写过一篇文章，建议有心的朋友阅览一下“不再购买外部链接，你还能走多远？”。