Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[1] 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。
Robots协议通常被称为是爬虫协议、机器人协议，主要是在搜素引擎中会见到，其本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
robots是英语中的一个词汇，意思是“机器人（们）”。
robots.txt的基本语法 内容项的基本格式：键： 值对。1) User-Agent键 后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baiduspider，谷歌是Googlebot。
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。
做SEO时，更好是把Robots.txt文件写好，下面说下写法：搜索引擎Robots协议：是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
robots.txt 文件应该放置在网站根目录下（/robots.txt）。
我们的网站起初的robots.txt写法如下：User-agent：Disallow： /wp-admin/ Disallow： /wp-includes/ User-agent： * 的意思是，允许所以引擎抓取。
1、网站改版正确使用robots文件的 *** 是：在改版期间，将robots文件设置为“disallow： /”以阻止搜索引擎访问网站，然后在改版完成后，根据新网站的结构和内容，更新robots文件以允许搜索引擎重新访问网站。
2、首先我们先来认识一下书写robots时常用到的几个字符 User-agent：写义搜索引擎类型，这里的首字母要大写U，结尾冒号：后要加一个空格键，如 User-agent：* 不带空格，User-agent： * 带空格的。
3、WordPress站点默认在浏览器中输入：你的域名/robots.txt，会显示如下内容：User-agent： *Disallow： /wp-admin/Disallow： /wp-includes/这是由WordPress自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。
WordPress站点默认在浏览器中输入：你的域名/robots.txt，会显示如下内容：User-agent： *Disallow： /wp-admin/Disallow： /wp-includes/这是由WordPress自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。
首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
你可以通过FTP找到robots. txt文件，下载到本地修改后再上传。主要是屏蔽不让搜索引擎抓取的文件夹目录，你可以通过FTP查看所有文件夹对照网站栏目来设置，如果还不知道如何操作可以，参考米拓建站官网的robots.txt文件。
这个根据自己网站实际情况选择性的设置。feed和trackback的条款是一定要的，可以说wordpress 80%以上的补充材料都是和它们有关。
网站的robots.txt文件一定要存放在网站的根目录。搜索引擎来网站抓取内容的时候，首先会访问你网站根目录下的一个文本文件robots.txt，搜索引擎机器人通过robots.txt里的说明，来理解该网站是否可以全部抓取，或只允许部分抓取。
1、除了设置robots协议之外，还可以在网页代码里面设置。在网页之间加入代码。表示紧致所有搜索引擎抓取网 站和显示快照。
2、首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。
3、robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
4、打开设置，选择root，把限制抓取更改为允许 robots文件中到底要不要屏蔽 *** 和css？robots.txt文件中不需要专门屏蔽CSS *** 等文件 因为robots.txt只是给搜索引擎蜘蛛爬去做限制的，告诉蜘蛛哪些文件夹或路径不要去爬取。
1、搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。
2、robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。
3、robots是英语中的一个词汇，意思是“机器人（们）”。