操作方式有三种，一种是直接在网站后台进行设置（目前只有wordpress和Zblog程序才有这个功能），另一种就是通过上传robots文件即可，最后一种就是在服务器上面利用“网站安全狗”软件设置静止抓取的方式。
sitemap：您可以定期将网站链接放到sitemap中，然后将sitemap提交给百度。百度会周期性的抓取检查您提交的sitemap，对其中的链接进行处理，但收录速度慢于主动推送。手工提交：一次性提交链接给百度，可以使用此种方式。 *** 五：利用 *** 加密网页内容 这个 *** 是在个别网站上看到的，非常暴力。
可以设置。只需要让你的建站者加密代码，让别人无法收集和复制你的文章。
网站在发布的时候需要做javascript代码压缩和混淆，这样程序人员就很难通过阅读代码或者捕获请求来建立模拟采集。这里说的关键信息，是指那种对业界同行来说比较重要的信息，比如说价格等。
批量数据采集，不管是网页还是软件的数据采集，都用简单的方式，博为的小帮软件机器人。基于所见即所得的方式，通过简单的配置一下小帮软件机器人，需要采集哪些字段，保存好以后，小帮软件机器人就可以自动运行，批量采集。
确保网站被收录的 *** 确保域名以前没被惩罚过(更好是新域名) 网站结构合理，由各种级别栏目构成，目前大部分cms都可以做到这一点 发布高质量内容，前期更好是稳定更新原创内容，不要采集 不要作弊，不适用欺诈手段 有效的外部链接 站内地图 robots文件设置 及时提交到各大搜索引擎入口。
要防止爬虫爬你的网站，就必须区分出爬虫和正常用户的行为区别。单单就单次请求你是无法区分出来的，因为前端的所有用户行为，爬虫都可以模拟。所以比较通用的做法是统计单个IP在一定时间范围内的请求数量，超过了一定的量就认为是爬虫，把它阻断掉。也许你自己有压测程序，把他们加入白名单就可以了。
直接保存网页 在浏览器上直接Ctrl+S保存网页（全部），这种 *** 完全原样的将网页复制下来了，网页上面的任何图片、文字等内容，包括CSS、js等样式全部保存下来。这是完全复制式保存网页，但零碎文件太多，不好做进一步归纳整理。而且很难迁移到客户端进行阅读，比如用手机或平板上的阅读软件进行阅读。
频繁修改网站标题。新网站切勿频繁修改网站标题描述，如果要修改等网站收录3个月以上再修改。虚拟主机空间不稳定。建议更换主机。网站内链结构不友好，如首页大flas *** ，大幅图片不利于蜘蛛爬行。修改网站内链，修改图片大小。网站内容不够丰富，太多复制或者采集的内容。
网站不被收录，要考虑是不是服务器是否安稳，服务器不稳定，或者虚拟主机IP被屏蔽，更新期间，你的网站无法访问，这样就算搜索引擎想搜索你的页面也没办法收录的。客户体验度降低，搜索引擎也不会更好的抓取页面。出现这种情况，及时将网站移动到稳定的网站服务器上，或者网站空间进行更换。
网站内容质量 如果网站存在大量采集内容，会造成百度不收录，同时百度最近加强了对采集站点的审查力度。搜索引擎倾向于高质量的原创内容，高质量的原创文章更容易满足用户的需求，也可以提高网站的用户体验度。
一般来说网站的抓取频率是不可能一下子就不正常，突然不正常，肯定是你自己做了哪些方面的修改，如果没有对网站进行修改。那么可能是网站被搜索引擎降低权重。当网站当中文章里面明显就是收录停止，或者收录速度特别慢，不用想肯定网站备降权重。
1、网站链接广度太低：链接广度太低，搜索引擎很难找到你。
2、仔细阅读的发文规范！不注意的话很容易不通过。而且的机器审核感觉有时候会出问题，也就是误判。标题要规范 不要做标题党，切记。标题末尾不要有标点符号，别写敏感词语。内容上要正规 不要存在侥幸心理发软文、推广、广告，不要带链接，别发敏感的文章，包括社会新闻类不允许个人自媒体发布。
3、理论上，如果文件中没有禁止百度蜘蛛抓取，百度会自动收录。但是这种包含可能需要很长时间。所以一般来说就是提交自己的网址来达到被百度等搜索引擎快速收录的效果。首先，复制以下链接打开此网页。http：// 打开后，在网址旁边输入自己的网址。