搜索引擎蜘蛛的访问规则
原创：http://www.qicheng.org/
青岛SEO培训学员中，有一位SEO学员问了这样一个问题：
我采集了3000篇文章，属性为隐藏，现在我想以每天20篇左右的进度逐渐把文章属性改为显示，我现在把3000篇文章都全部生成了静态，不过前台并没有全部显示，现在我想问一下：“蜘蛛程序访问时，是只访问前台所显示的网页文件吗？还是只要我生成了静态，不在前台显示的文件也会被蜘蛛访问到？”
下面是青岛搜索引擎优化团队（www.qicheng.org）的SEO培训讲师波波的回答：
从理论上讲蜘蛛是访问不到你的后台的，他只能够向服务器发出访问请求，获得后台文件的地址，但是没办法进入你的操作界面，你采集的文章属性设为隐藏，不知道你是怎么隐藏的，是不是只保存在后台而没有在前台发布，如果这样的话不用担心蜘蛛能抓取，如果只是在代码中加入hide属性的话，估计蜘蛛能够抓取，因为HIDE属性，只对真实浏览用户有效。
今天波波在这里继续的做一次补充，搜索引擎爬取页面，必须要有链接，如果你的页面没有链接指向你隐藏掉的页面，那搜索引擎也是没有办法抓取到的，与你本身放在哪个文件夹里面，没有任何的关系，当然这里只是针对的普通的站点来说，如果你的网站已经成为了权威网站，比如新浪，他将所有的博客全部放到一个文件夹下面，那搜索引擎就知道这个文件夹的重要性了，很可能，不需要链接的导入，就会自动抓取页面，当然，这只是说搜索引擎没有找到入口，其实入口本身就会存在。
文章来源:http://www.qicheng.org/seo/spider-visite-specification.html
转载请注明版权:SEO 浏览更多SEO文档，请关注青岛网站优化、青岛网站推广服务团队。
版权所有。转载时必须以链接形式注明文章原始出处！