1、首先检查网站结构，是否存在影响蜘蛛正常爬行代码 图片链接是否被加密让蜘蛛无法识别还有就是很多网站缓存时间会比较慢，就是删除页面可是数据仍然存在数据库中，可是后台显示已经删除。
2、另外，nofollow的意思是不传输这个链接或者页面的权重，对于这种404URL应该没有太大作用。
3、可以设置一些页面不让百度进行访问，可是我看你的问题不是这个，既然你网站里没有这些页面，百度蜘蛛怎么可能去访问呢，建议你看一下网站原文件，是否存在这些文件。
4、属正常现象。抓取rar，你看下这个文件是什么文件，如果有具体的路径，你可以在网站根目录下建一个404文件，然后把这个链接放入文件中，在百度站长工具里提交就可以了，下次百度搜索引擎就不会在抓取了。
1、蜘蛛软件（Spidersoftware）是一种模拟搜索引擎爬虫程序，用于自动化地浏览互联网上的网页并提取信息。蜘蛛软件通过按照预定的规则和算法，访问网页的链接、抓取网页内容，并将抓取到的数据保存到本地或数据库中。
2、首先我们看下百度百科的介绍：百度蜘蛛，是百度搜索引擎的一个自动程序。
3、百度蜘蛛，英文名是“baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页。
4、搜索引擎用来爬行和访问页面的程序被称为蜘蛛，也叫爬虫。搜索引擎命令它到互联网上浏览网页，从而得到互联网的大部分数据(因为还有一部分暗网，他是很难抓取到的)然后把这些数据存到搜索引擎自己的数据库中。
5、搜索引擎的蜘蛛其实就是一个程序，用来爬行互联网更新的内容。然后抓取到自己的数据库，蜘蛛爬行是个很形象的名字，就好像蜘蛛猎食是一样的。
也就是比如百度蜘蛛找到一个链接，沿着这个链接爬行到一个页面，然后沿着这个页面里面的链接爬行&hellip&hellip这个类似于蜘蛛网和大树。这个理论虽然正确，但不准确。
然后，就可以利用程序里面的正则表达式，对链接的数据进行提取、合并、去重等复杂操作，并将数据存入数据库。数据库有很多，比如：索引库、收录库等等。
蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面（例如：一些高权重网站和网站的首页），在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。
关键词的提取，取一篇网页的源文件（例如通过浏览器的“查看源文件”功能），我们可以看到其中的情况纷乱繁杂。从认识和实践来看，所含的关键词即为这种特 征更好的代表。
压缩网站页面 在不影响网站布局和内容的情况下进行更大限度的压缩，去除那些作用不大或者没必要的东西，可以有效的加快网页打开速度，便于蜘蛛抓取索引。
注意具体内容个人的选择。选择那些优质的内容。搜索引擎的蜘蛛爬虫是怎么样抓取页面的？搜索引擎用来爬行和访问页面的程序被称为蜘蛛，也叫爬虫。
一个新站建设完成以后最重要的就是让搜索引擎知道我们的新站，所以我们可以通过吸引蜘蛛的 *** 让蜘蛛来抓取我们的网站。
*** 网站地图 通过 *** 网站XML和HTML地图，网站地图列出网站最重要的内容，并屏蔽掉那些不需要蜘蛛索引和收录的内容；从而帮助蜘蛛更快的找到网站重点内容可快速的爬行你的网站。
发外链吸引蜘蛛的 *** 良多站长发布外链都是带个网站的首页网址就算了，百度优化以为这种优化方式比较单一，假如你的网站权重低，更新丌频繁的话，可能蜘蛛通过链接到了你的网站就丌再深入去爬行了。