1、接下来我们进入Spider标签，点击options(选项)，我们可以设置各种选项当运行Burp检测应用程序的时候.我没有可以让Burp检查robotx.txt文件(checkfortherobots.txt)，它会尝试抓去网站管理员不允许搜索引擎索引的目录.另外一个重要的选项是passivelyspiderasyoubrowse(被动蜘蛛浏览)。
2、网站改版正确使用robots文件的 *** 是：在改版期间，将robots文件设置为“disallow： /”以阻止搜索引擎访问网站，然后在改版完成后，根据新网站的结构和内容，更新robots文件以允许搜索引擎重新访问网站。在网站改版期间，为了确保搜索引擎不会抓取到旧的或已经失效的页面，我们需要阻止搜索引擎访问网站。
3、首先我们先来认识一下书写robots时常用到的几个字符 User-agent：写义搜索引擎类型，这里的首字母要大写U，结尾冒号：后要加一个空格键，如 User-agent：* 不带空格，User-agent： * 带空格的。
4、WordPress站点默认在浏览器中输入：你的域名/robots.txt，会显示如下内容：User-agent： *Disallow： /wp-admin/Disallow： /wp-includes/这是由WordPress自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。
5、首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。
1、WordPress站点默认在浏览器中输入：你的域名/robots.txt，会显示如下内容：User-agent： *Disallow： /wp-admin/Disallow： /wp-includes/这是由WordPress自动生成的，意思是告诉搜索引擎不要抓取后台程序文件。
2、最后，推荐使用 Google管理员工具，登录后访问“工具 - 分析 robots.txt”，检查文件有效性。
3、先来普及下robots.txt的概念：robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛)，此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被(漫游器)获取的。
4、/*/trackbackDisallow： /？s=*Disallow： /*/？s=*\Disallow： /wp-*.php Sitemap： http：//yourdomain.com/sitemap.html直接上robots.txt内容，你可以自行新建文本上传。以上内容摘自泪雪博客 https：//zhangzifan.com/wordpress-robots.html ，所有权归原作者所有，这里仅作为知道为用户答疑。
搜索引擎爬去我们页面的工具叫做搜索引擎机器人，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
robots是英语中的一个词汇，意思是“机器人（们）”。在计算机科学中，“robots.txt”是一种文件格式，一般位于一个网站的根目录，用来告诉搜索引擎爬虫访问该网站时应该遵守哪些规则，例如哪些页面应该被允许抓取，哪些页面不应该抓取等。
Robots.txr文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取(收录)，哪些页面不能爬取。
robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[1] 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
首先是在你的网站跟目录下建立个robots.txt文件。什么是robots呢，就是：搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。