1、robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
2、蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是robots.txt。这个文件其实就是给“蜘蛛”的规则，如果没有这个文件，蜘蛛会认为你的网站同意全部抓取网页。
3、robotx.txt是一种用于限制搜索引擎爬虫访问网站的文件。通常，网站管理员可以将不希望搜索引擎访问的内容，包括网站目录下的文件、HTML文件、CSS文件和JavaScript文件，添加到robotx.txt文件中。
4、Robots.txt 是个纯文本文件，当一个搜索robot访问一个站点时，他首先爬行来检查该站点根目录下是否存在robot.txt，如果存在，根据文件内容来确定访问范围，如果没有（为Null），搜索robot就沿着链接抓取。
robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。
如果你想了解dz论坛（Discuz论坛）的Robots.txt设置，你可以采取以下步骤： 登录dz论坛的后台管理系统。 导航到“论坛设置”或类似的选项。 在设置选项中找到“Robots文件”或相关的设置选项。
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
1、因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。
2、我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
3、在 robots.txt 文件中，如果有多条- User-agent 记录说明有多个 robot 会受到 robots.txt 的限制，对该文件来说，至少要有一条 User-agent 记录。
另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。
robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
在计算机科学中，“robots.txt”是一种文件格式，一般位于一个网站的根目录，用来告诉搜索引擎爬虫访问该网站时应该遵守哪些规则，例如哪些页面应该被允许抓取，哪些页面不应该抓取等。
Robots.txt文件的作用：屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容。
机器人放在服务器的根目录下，所以如果你想查看，只要在IE上输入http：//yourwebsite/robots.txt即可。如果想检查分析机器人，有专业的相关工具。
也就是说robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。
robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。例如，http：//是有效位置。
robots.txt必须放在一个站点的根目录下，文件名必须全部小写。robots.txt文件的格式 用户 *** ：定义搜索引擎的类型。 不允许：定义禁止被搜索引擎包括的地址。 允许：定义允许被搜索引擎包含的地址。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
其实robots是给有特殊情况的站长用的，因为有些网站有一些站长不希望被任何搜索引擎收录的页面，所以这个robots文件是有的。robots.txt文件用法示例：禁止所有搜索引擎访问网站的任何部分。