有什么作用 网站地图是一个网站所有链接的容器。网站地图可以方便搜索引擎蜘蛛抓取网站页面，通过抓取网站页面，清晰了解网站的架构，网站地图一般存放在robots文件中，为搜索引擎蜘蛛指路，增加网站重要内容页面的收录。
网站地图，又称站点地图，它就是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接（注：不是所有页面）。大多数人在网站上找不到自己所需要的信息时，可能会将网站地图作为一种补救措施。
网站地图一般指站点地图，站点地图就是根据网站的结构、框架、内容，生成的导航网页文件。站点地图对于提高用户体验有好处，它们为网站访问者指明方向，并帮助迷失的访问者找到他们想看的页面。
用最简单的话来讲，XML 站点地图（一般就叫站点地图）就是您网站上各网页的列表。创建并提交站点地图有助于确保 Google 了解您网站上的所有网页，包括 Google 在正常抓取过程中可能找不到的网址。
网站地图就是网站所有链接的容器，当用户找不到所需要的信息的时候，就可以通过网站地图来找到。网站地图还有利于搜索引擎蜘蛛的抓取，通过抓取来了解到网站的结构，从而增加网站重要页面的收录，提高网站在搜索引擎的排名。
网站地图，英文名字sitemap，包括网站的所有链接。为搜索引擎抓取页面提供了依据。一旦搜索引擎程序得到了网站地图页面，它就可以访问站点地图上提供的所有网页及栏目。因此网站地图主要包括网站的主要网页的内容链接或者栏目链接。
网站资源优化 *** 有避免重定向避免使用着陆页进行重定向。重定向会导致额外的HTTP请求，造成网络延迟，拖慢网页的呈现。重定向也可能造成额外的DNS查找，TCP握手和TLS协商。合并资源，减少网络请求。合并资源，最常见的就是sprite精灵图了。
将链接加上字体颜色或者是下划线可以降低用户寻找链接点击的负担。不要为凑字数而增加用户浏览负担 分段要勤 一大段文字通常会导致用户不知道自己到底读到文章哪里，解决 *** 就是勤分段。
二交换链接/广告互换 网站之间互相交换链接和旗帜广告有助于增加双方的访问量，但这是对个人主页或非商业性的以提供信息为主的网站而言。
网站目录和页面优化：SEO不止是让网站首页在搜索引擎有好的排名，更重要的是让网站的每个页面都带来流量，长尾关键词采用内页优化。
搜索引擎的工作原理总共有四步：之一步：爬行，搜索引擎是通过一种特定规律的软件跟踪网页的链接，从一个链接爬到另外一个链 接，所以称为爬行。
搜索引擎会派出爬虫程序，顺着网页中的超链接，不断地抓取新的网页。然后，这些网页会被进行预处理，如提取关键词、去除重复内容等。
搜索引擎的工作原理主要就是四个步骤：爬行，抓取，检索，显示。
网络爬虫，又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬虫技术即网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
自动提取网页的软件。根据查询应用宝信息显示，SPIDER（网络爬虫）按照一定的规则和顺序，自动地抓取万维网上的HTML文档信息，通过遍历链接来获取所需要的数据，最后将抓取的数据存入本地的数据库中以备后续使用的软件。