提起robots.txt文件可能站长们并不陌生。

是一个简单的以.txt结尾的文本文件，是搜索引擎Robot（也叫搜索引擎机器人）程序抓取网页时要访问的第一个文件。也是为了告诉搜索引擎，这个 网站的哪些页面是允许被访问和爬取的，哪些页面是不允许访问的。

一、robots.txt文件有什么作用？

　　通过robots.txt文件，可以和各大搜索引擎很友好的对话，引导搜索引擎机器人抓取你推荐的网页，避免一些意义不大或无用网页，例如网站后台、会员交互功能等，这在一定程度上也节省服务器网络资源。

另外，robots.txt文件对SEO的意义也很重要，可以很好的避免重复、相似网页，以及一些关键字权重流失；写好robots.txt文件，是每个SEOer必做的功课之一。

二、robots.txt文件写法

　　robots.txt文件写法非常简单，通常以User-agent开始，包含一行或多行Disallow或Allow记录；在robots.txt文件中可以使用“#”进行注释，具体使用方法和PHP一样；另外，robots.txt文件支持*|$|?等通配符。

看个简单的例子：

# robots.txt文件怎么写？

User-agent: * #对所有搜索引擎Robot开放

Disallow: /abc #允许访问abc文件夹下的所有文件

Disallow: /wp-content/ #禁止访问wp-content目录下任何内容

Disallow: /*?* #禁止访问动态页面

Disallow: /*.php$ #禁止访问php文件

Disallow: /*.css$ #禁止访问css

三、robots.txt文件10个注意事项

01

robots.txt文件名必须全部小写，不要为追求个性写成RoboTs.txt等形式；并且只能放在网站根目录下面。

02

网站未创建robots.txt文件，则代表默认网站所有文件向所有搜索引擎开放爬取。

03

要检查robots.txt文件是否达到了预期的效果，可以通过枫树SEO网站长工具中的robots检测工具测试。

04

一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow；Allow默认搜索引擎是会抓取你网站所有内容的。

05

robtos.txt文件内可以放上Sitemap文件地址，方便告诉搜索引擎Sitemap文件地址。

06

在robots.txt中至少要有一条Disallow，如果都允许收录，则写: Disallow: 如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。

07

允许有多个User-agent，如果对所有爬取蜘蛛生效，则用“*”星号表示。

08

有几个禁止，就得有几个Disallow函数，并分行描述。

09

不要使用 robots.txt 文件禁掉敏感数据（比如用户数据）

10

网站运营过程中，可以根据情况对robots.txt文件进行更新，屏蔽一些不要搜索引擎抓取的文件地址。

以上就是robots.txt文件配置和使用方法详解了，掌握了这些也许可以让你的SEO技术再升一级！有关robots.txt文件的写法、用法，如果还有什么疑问，也可以到枫树圈子积极讨论。