robots.txt的功能分很多,我们如果合理运用好,对网站的帮助是起很大作用的。接下来我们来介绍一些比较常用的功能。
一、 利用robots.txt来限制网页快照
很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端,例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此,我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
解决这样问题的办法很简单,只需要在你的网页元标记中(和之间)放置如下的一段代码。
以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话,就可以像如下这样去写
需要注意的是,这样的标记仅仅是禁止搜索引擎为你的网站建立快照,如果你要禁止搜索引擎索引你的这个页面的话,请参照后面的办法。
二、禁止搜索引擎抓取网页页面
在SEO中,禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因为网页有一些是我们不需要用来参加关键词排名的,所以可以屏蔽掉。为了让搜索引擎禁止抓取本页面,我们一般的做法是在页面的元标记中加入如下的代码:
在 这里,META NAME=”ROBOTS”是泛指所有的搜索引擎的,在这里我们也可以特指某个搜索引擎,例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.wyjwz.com”等。content部分有四个命令:index、noindex、follow、nofollow,命令间以英文的“,”分隔。
INDEX命令:告诉搜索引擎抓取这个页面
FOLLOW命令:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。
NOINDEX命令:告诉搜索引擎不允许抓取这个页面
NOFOLLOW命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。
robots.txt文件的运用详解-芜湖网页制作公司
发布时间:2015-10-22
标签: 芜湖网页制作公司 ,
相关文章
- 芜湖网页设计浅谈不利于网站SEO优化的几类网站
- 移动网站设计应该避免的“七宗罪”
- 芜湖网站设计做网站优化要知道如何投百度蜘蛛所好
- 芜湖网页设计公司:如何将网站改版损失降到更低?
- 网站设计必须要知道的几个小知识
- 芜湖网页设计搜索框设计技巧和功能妙用
- 芜湖网站设计如何迎合搜索引擎
- 芜湖网页制作公司让你网站的搜索排名更靠前
- 好的用户体验度网站需要具备哪些特点呢?
- 芜湖网页制作公司分析为什么网站排名突然会下降呢
- 域名选择哪种会更有利于SEO
- 交换友情链接需要注意的几点事项
- 从百度超链作弊的算法 看搜索引擎的价值观
- 芜湖网站设计浅谈增加外链的注意事项有哪些
- 芜湖网页制作公司设计网页应是企业网络营销的前提
- 网站改版需要注意哪些细节,才不会被降权
- 企业网站首页设计常见的6种布局方式
- 绝密分享:长尾关键词的拓展的26个方法!
- 企业从搜索引擎中寻找商机,网络推广解决方案
- 三步,芜湖网页设计让你牢牢抓住重点客户