robots.txt的功能分很多，我们如果合理运用好，对网站的帮助是起很大作用的。接下来我们来介绍一些比较常用的功能。
　　一、 利用robots.txt来限制网页快照
　　很多搜索引擎都提供一个网页快照的功能。但是网页快照功能却有很多的弊端，例如事实内容在网页快照中更新不及时、索引网页快照浪费大量的服务器资源等。因此，我们有些时候可能并不需要搜索引擎来索引我们某个页面的网页快照。
　　解决这样问题的办法很简单，只需要在你的网页元标记中(和之间)放置如下的一段代码。
　　以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写
　　需要注意的是，这样的标记仅仅是禁止搜索引擎为你的网站建立快照，如果你要禁止搜索引擎索引你的这个页面的话，请参照后面的办法。
　　二、禁止搜索引擎抓取网页页面
　　在SEO中，禁止搜索引擎抓取本页面或者是允许搜索引擎抓取本页面是经常会用到的。因为网页有一些是我们不需要用来参加关键词排名的，所以可以屏蔽掉。为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码：　
　　在 这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.wyjwz.com”等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。
　　INDEX命令：告诉搜索引擎抓取这个页面
　　FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。
　　NOINDEX命令：告诉搜索引擎不允许抓取这个页面
　　NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。