首页内容太少，特别是文字，页面太短了，搜索引擎抓取不到什么内容，导致他认为收录的意义不大。网站栏目过于简单，缺乏内容。网站没有有规律更新。
服务器或许空间宕机 网站的服务器或许空间宕机蜘蛛访问不了，就会出现蜘蛛不来这种情况。遇到蜘蛛不来首先要检查网站服务器和空间是否出问题。假设出问题一定要最快速度批改。
对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排序上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。
第网站导出死链接过多如果一个网站存在太多的死链接，那么必然会导致搜索引擎蜘蛛的爬行不顺利，自然就可能会使搜索引擎爬行不下去，抓取不到你更新的内容，就不用说收录内容了。
如果站点页面数量突然增大，是会影响到蜘蛛抓取收录，所以站点在保证访问稳定外，也要关注网站安全。Robots.txt文件 Robots文件是告诉搜索引擎哪些页面可以抓取和不给抓取。
：检查robots文件中是否有屏蔽对应的搜索引擎蜘蛛。如果robots中写入了禁止搜索引擎抓取，那么蜘蛛是不会抓取的。2：检查网站空间或服务器的地理位置。如果网站服务器空间在国外或相对偏远的国外，有可能爬虫有无法访问的情况。
首先确定你的网站有没有没K或者降权，如果没有的话，就要看自己站内的因素的，下面让帽儿站长来分析几点导致蜘蛛不来爬行的小问题。
百度的所有爬行都尽量不要屏蔽，一定不要阻止蜘蛛抓取图片，更新文章有规律就好，比如你上午更新，那么你就尽量一直在这个时间段，更好是原创。
新站的话百度会有个审核期，只要site你的网站还有数据就说明没有被百度当成作弊，还是回来收录的。要注意几点：尽量发布原创度高的文章。检查网站链接，去掉死链、黑链和不良的友情链接。
首先我们要检测自己的网站robots.txt文件，看看文件的书写是否正确，是否有大小写混乱的情况出现，是否建站初期的时候有屏蔽所有蜘蛛的爬行的指令忘记修改了。
需要蜘蛛来到你网站爬行，所以说在我们做网站优化的时候，蜘蛛是十分重要的。
1、链接，不是好无目地的向各大论坛发连接，这样的结果只会导致永远都不会被收录，可以去些权重和PR都比较好的站点发布文章也就是软文，也可以去些论坛发帖子，适可而止，不要为了光发连接和发帖。
2、多看看同行业竞争对手如何发布外链。第三，网站内容更新不规律。
3、如果不纳入，什么都谈不上。提高收录率，缩短收录时间的 *** 有很多，比如写高质量的内容，提高页面和站点的质量，发布外部链接吸引网络蜘蛛等。 我们都希望自己的文章能被百度快速收录，更好是秒级收录。
因素四，网站内部链接存在问题，比如有大量错误链接、不良的网站链接，蜘蛛爬行不通畅无法抓取，不良网址链接导致网站降权。
百度蜘蛛为什么不爬新页面优化过程中经常遇到的情况，究其原因主要是下面几个：原因一：可能之前你老是转载人家的新闻，没有自己原创的新闻，蜘蛛一个印象以为你的新闻都是转载的，没有必要浪费时间来爬取。
网站服务器打不开 robots设置了不让蜘蛛抓取 url中出现了太多的动态参数 网站是一个信息孤岛，没有提交给百度。
还有就是下载站点本身就是有干预的状况，快照12天没有更新，考虑到如果是新站点没有更新很正常因为你质量不够，如果是老站点没有更新看看词库有没有下滑如果有下滑说明触碰到了算法，如果没有下滑看看你的内容质量。