1、首先搜索引擎最常见的一种陷阱是Flash。在网页的某一小部分使用Flash增强视觉效果是和很正常的，比如用Flash做成广告，图标等。这样的Flash对搜索引擎的爬行与抓取是没有什么影响的。但是，万万不可在首页使用一个大大的Flash文件，因为这样就形成一个蜘蛛陷阱。
2、第五：动态的URL地址 动态的URL地址一般过于长，带有较多的参数。好比“？”“=”“id”等，搜索引擎蜘蛛一旦爬行进入，很有可能会出不来。所以网站建议使用静态地址。第六，必须登录了，才可以进入到网站中 有些网站为了采集用户信息，非要登录了才能进入到网站中。
3、网站内容质量 如果网站存在大量采集内容，会造成百度不收录，同时百度最近加强了对采集站点的审查力度。搜索引擎倾向于高质量的原创内容，高质量的原创文章更容易满足用户的需求，也可以提高网站的用户体验度。
1、第三：各种跳转 搜索引擎蜘蛛对于各种跳转也是十分的敏感的。因为黑帽SEO最喜欢用跳转这种手段了。黑了别人的网站，然后在别人的网站上挂上一个指向自己网站的跳转。第四：框架结构 第五：动态的URL地址 动态的URL地址一般过于长，带有较多的参数。
2、动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。
3、第需求登录 有些网站的内容需求用户登录后才干看到的页面，这部分内容搜索引擎是无法看到的。这个要注意断定是不是是需求登录今后才干看到。第强行运用cookies 许多网站为了完成某种功用，强行运用cookies，用户浏览器若是没有启用cookies，页面显现不正常。
登陆要求有些企业站和个人站的设置一定要注册登陆后才能看到相关的文章内容，这种对蜘蛛不是很友好，蜘蛛不会注册、也不会登陆。动态URL什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。
动态URL 什么叫动态URL、什么叫静态URL，简单的说就是带有问号、等号及参数的网址就是动态URL，动态URL不利于搜索引擎蜘蛛的爬行和抓取。强制用Cookies 部分站长为了让用户记住登陆信息，强迫用户使用Cookies如果未开启，则无法进行访问，访问页面显示的也不会正常，这种方式会让蜘蛛无法进行访问。
动态URL，在url中加入过多的符号或者网址参数等，这种蜘蛛陷阱我在url优化中曾经有提到，虽然说随着搜索引擎的的技术发展，动态url对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上来讲，静态哪怕是伪静态url相对来说都比动态url要好，可以看下很多SEO同行对于url中的处理方式。
第各种跳转 除了301跳转以外，搜索引擎蜘蛛对其他 *** 的跳转都对比灵敏，如302跳转，javascript跳转、meta refresh 跳转。若是有必要转向，301转向是搜索引擎引荐的、用于网站更改的转向，能够吧页面权重从旧网址转移到新网址。其他的转向 *** 都对蜘蛛匍匐晦气。
之一：flash。相信，这个许多网站都会有的。为了让用户体验更好，网站看起来更加的美观，放大量的flas *** 。‘大量’，我这里说的是大量哦。大量的flas *** 造成的后果只有一个，那便是搜索引擎蜘蛛是抓取到了你的网页，但是。在抓取后的预处理这一块，犯难了。因为提取不到一个中文文字。
链接编码是Javascript，因为这被称为“蜘蛛陷阱”，爬行站点的时候，蜘蛛会自动屏蔽爬行这些链接；链接被标记为robots.txt的 “禁止指令；孤立的链接；链接所在的页面是一个包含链nofollow指令的页面；本来是要抓取的链接，但是因为服务器不稳定的原因无法进行抓取。