robots.txt直接放在网站根目录下，是蜘蛛访问网站时，第一个抓取的文件。robots.txt是告诉蜘蛛网站的哪些文件允许抓取，哪些文件不允许抓取，甚至可以指定特定的蜘蛛能不能抓取特定的文件。没有抓取就没有收录，没有收录就没有排名。所以作为第一蜘蛛访问的文件，写好robots.txt是很重要的，写好robots.txt后，一定要再检查一两遍，以防出错。这里总结下robots.txt写法，让你看完秒懂robots.txt写法和注意事项 。
一.robots.txt具体作用
1.对搜索引擎做出规定，抓取或者不抓取。
2.由于有些信息规定了不让抓取，所以可以保护到一些必要的信息，比如：网站后台，用户信息。
3.节省搜索引擎抓取资源。
二.robots.txt规则
1.User-agent，用于告诉识别蜘蛛类型。比如，User-agent: Baiduspider 就是指百度蜘蛛。
各类蜘蛛列举如下：
百度蜘蛛：Baiduspider
谷歌机器人：GoogleBot
360蜘蛛：360Spider
搜狗蜘蛛：Sogou News Spider
雅虎蜘蛛：“Yahoo! Slurp China” 或者 Yahoo!
有道蜘蛛：Youdaobot 或者 Yodaobot
Soso蜘蛛：Sosospider
2.Allow，允许蜘蛛抓取指定目录或文件，默认是允许抓取所有。
3.Disallow，不允许蜘蛛抓取指定目录或文件。
4.通配符，“*”，匹配0或多个任意字符。
5.终止符，“$”，可以匹配以指定字符结尾的字符。
举个例子：下面是一个wordpress程序的robots.txt
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /*.js$
Disallow: /*?*
Sitemap: