robots.txt是搜索引擎中访问网站的时候要查看的之一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
另外，robots.txt主要用于保证网络安全和网站隐私，百度蜘蛛遵循robots.txt协议。通过根目录下创建的纯文本文件robots.txt，网站可以声明哪些页面不想被百度蜘蛛抓取收录。
首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。
如果 /robots.txt 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
可以写入sitemap文件的链接，方便搜索引擎蜘蛛爬行整站内容。尽量少用Allow指令，因为不同的搜索引擎对不同位置的Allow指令会有不同看待。
屏蔽网站内的死链接。屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。阻止搜索引擎索引网站隐私性的内容。（例如用户账户信息等）Robots.txt放在哪？robots.txt 文件应该放置在网站根目录下（/robots.txt）。
Robots文件设置：robots.txt可以用来屏蔽这些死链。即设置robots.txt文件禁止蜘蛛抓取相关页面。搜索引擎站长后台提交死链：软件检测到死链后，导出网站死链并整理成文本格式，上传到网站根目录，最终提交给搜索引擎。
网站改版以及程序上的修改会导致大量的死链接，而这些死链接需要整理出来，然后写进robots文件中，让搜索引擎蜘蛛清楚的了解到，这些链接是禁止抓取的。
Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。
在.htaccess 文件中加入代码： ErrorDocument 404 /Error.html建立一个简单的html404页面命名 Error.html把 Error.html放置在网站根目录如果碰到困难，参考本站：错误网页、SEO十万个为什么的.htaccess文件。
网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。一些没有关键词的页面，比如本站的这个页面，屏蔽掉更好。一般情况下，站内的搜索结果页面屏蔽掉更好。
网站改版正确使用robots文件的 *** 是：在改版期间，将robots文件设置为“disallow： /”以阻止搜索引擎访问网站，然后在改版完成后，根据新网站的结构和内容，更新robots文件以允许搜索引擎重新访问网站。
robots协议文件的创建 网站SEO优化与搜索引擎友好地对话，robots.txt文件无疑是更好的选择。
控制搜索引擎访问：robotx.txt文件可以帮助网站管理员控制搜索引擎如何访问网站。可以限制搜索引擎的爬取范围、时间和方式等。提高用户体验：如果搜索引擎能够正确地识别网站的内容，那么访问速度将会更快，用户体验也会更好。
网站地图、404错误页面、robots.TXT文件设置 根据网站结构建立网站地图，还有就是各种错误页面的自定义设置，例如40502之类，最后还要设置一下robots，就是哪些内容不想被搜索引擎抓取。
1、注意：User-Agent：后面要有一个空格。在robots.txt中，键后面加：号，后面必有一个空格，和值相区分开。2)Disallow键 该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。
2、robots.txt 文件应该放置在网站根目录下（/robots.txt）。
3、找到网站死链后，到百度站长平台提交死链，等待百度删除即可。
4、robots.txt文件是什么 robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的之一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。每个站点更好建立一个robots.txt文件，对seo更友好。
5、robots.txt文件的基本语法只有两条，之一条是：User-agent，即搜索引擎蜘蛛的名称；第二条是：Disallow，即要拦截的部分。下面我们看一下撰写基本的robots.txt文件所需要知道的一些语法和作用。