Spider也就是大家常说的爬虫、蜘蛛或机器人，是处于整个搜索引擎最上游的一个模块，只有Spider抓回的页面或URL才会被索引和参与排名。
就是搜索引擎代码，爬行网站，抓取页面内容的一种程序。
爬虫---每天随时到我们网站来爬行，爬内容。文本内容 如果蜘蛛在爬行的时候发现我们的网站还不错，把我们的内容收录百度数据库索引。所以的页面都会爬行，主页，列表页，内容页。前提条件是网站首页必须要被收录才行。
关于这个问题yyseoer顾问表示：爬行指的是搜索引擎蜘蛛从已知页面上解析出链接偏向的URL，随后顺着链接发觉新页面（也就是说链接偏向的URL）的过程。这样的话，蛛蛛并非发觉新URL马上就爬过去抓取新页面，只是把发觉的URL储放到待抓地址库中，蜘蛛依照必须次序从详细地址库中获取要爬取的URL。
简单理解，百度蜘蛛又名百度爬虫，主要的工作职能是抓取互联网上现有的URL，并对页面质量进行评估，给出基础性的判断。通常百度蜘蛛抓取规则是：种子URL-待抓取页面-提取URL-过滤重复URL-解析网页链接特征-进入链接总库-等待提取。
1、网络爬虫就是为其提供信息来源的程序，网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。
2、网络爬虫就是一种从互联网抓取数据信息的自动化程序，如果我们将互联网比作一张大的蜘蛛网，数据就是存放在蜘蛛网的一个节点，爬虫就是一个小蜘蛛，沿着网络抓取数据。爬虫可以在抓取的过程中进行各种异常处理、错误重试等操作，确保抓取持续高效运行。
3、网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。
4、网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。
5、爬虫就是能够自动访问互联网并将网站内容下载下来的的程序或脚本，类似一个机器人，能把别人网站的信息弄到自己的电脑上，再做一些过滤，筛选，归纳，整理，排序等等。网络爬虫能做什么：数据采集。网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。
6、网络爬虫（Web crawler）也叫网络蜘蛛（Web spider）、蚂蚁（ant）、自动检索工具（automatic indexer），或者（在FOAF软件概念中）网络疾走（WEB scutter），是一种“自动化浏览网络”的程序，或者说是一种网络机器人。
1、所谓“蜘蛛”，是指能够在万维网上漫游，自动获取链接文档的程序，因其行为（在万维网上爬行）酷似蜘蛛而得名。无论它们叫什么，其核心的目的都只有一个：获取那些存储在因特网上的信息。我们熟知的Yahoo、EXcite和Sohu等搜索引擎都包含Spider。各种Spider的工作原理基本相同。
2、网络蜘蛛(Web Spider)又称为：“网络爬虫”，“机器人”，简称“蜘蛛”。是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
3、网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
4、什么是网络爬虫呢？网络爬虫又叫网络蜘蛛(Web Spider)，这是一个很形象的名字，把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。严格上讲网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
搜索引擎蜘蛛，是搜索引擎自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容，方便搜索引擎对这些内容进行索引， 然后用户就可以在搜索引擎里搜索他们想要的内容，出现他们需要的结果。
Spider也就是大家常说的爬虫、蜘蛛或机器人，是处于整个搜索引擎最上游的一个模块，只有Spider抓回的页面或URL才会被索引和参与排名。
也就是说当网络营销搜索引擎蜘蛛每一次访问也会被当成一个新的用户，那么URL中会加一个不同的SESSION ID，如此一来搜索引擎蜘蛛每次访问同一个页面但是返回的确是不同的URL，那么就会把搜索引擎搞糊涂。
爬虫---每天随时到我们网站来爬行，爬内容。文本内容 如果蜘蛛在爬行的时候发现我们的网站还不错，把我们的内容收录百度数据库索引。所以的页面都会爬行，主页，列表页，内容页。前提条件是网站首页必须要被收录才行。
关于这个问题yyseoer顾问表示：爬行指的是搜索引擎蜘蛛从已知页面上解析出链接偏向的URL，随后顺着链接发觉新页面（也就是说链接偏向的URL）的过程。这样的话，蛛蛛并非发觉新URL马上就爬过去抓取新页面，只是把发觉的URL储放到待抓地址库中，蜘蛛依照必须次序从详细地址库中获取要爬取的URL。
Spider也就是大家常说的爬虫、蜘蛛或机器人，是处于整个搜索引擎最上游的一个模块，只有Spider抓回的页面或URL才会被索引和参与排名。
搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
搜索引擎蜘蛛，是搜索引擎自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容，方便搜索引擎对这些内容进行索引， 然后用户就可以在搜索引擎里搜索他们想要的内容，出现他们需要的结果。