在做网站结构分析之前，要理解搜索引擎蜘蛛是拟人化的算法而已。算法就是按部就班的执行事先设计的抓取策略，所以良好的网站结构具备引导、分配权重、提高抓取效率等作用，只有内部框架搭建好之后，内容的布局才能井然有序，蜘蛛才能有序爬行。



　　一、事先问题思考：

　　1.蜘蛛是否实现逻辑上的全站抓取

　　2.蜘蛛是否可以区分页面重要性

　　3.蜘蛛是否可以提取页面的关键词

　　二、逻辑上全站爬行

　　1.网站结构优化

　　网站物理结构，即基于内容聚合的目录及文件位置决定的结构。目前的主流思维就是网站扁平化设计，即平行结构。如：列表目录扁平化设计
    
   2.链接结构优化

　　两种蜘蛛抓取不到的页面：网站本身不希望被收录的页面;没有链接到达的页面，即孤岛页面。对于没有被首页推荐的页面，可以再内链上补充。合理的内链就是一个四通八达、井然有序的交通系统，蜘蛛就是来往的车辆。社会化、描文本、设置链接入口等。

   3.Domain结构优化

　　主要是二级域名和二级目录的选择策略。没有绝对的好与不好，就科易网小编来说目前公司网站正在有二级域名网站结构向二级目录转变，只是采取适应当前科易网发展的核心：塑造公司品牌。所以根据自身特点选择合理的domain策略。

三、怎么做

1.结构扁平化
结构扁平化是相对于结构纵深化，相信很多SEO高手都理解，概念就不多做解释了，就是首页－栏目－产品页层数的多少，而搜索引擎在捉取和收录页面过程会根据网站权重给出一些对应的捉取层数预算，而扁平化往往是三层，这对于一般企业与产品网站已经可以了。

2.网站地址
在搜索引擎优化角度看，导航和地图是方便蜘蛛爬行用，对于用户是没什么太大用处，而最主要的就是导航，在用户浏览页面到第三层是想返回首页，缺找不到，这只会增加对用户体验差与跳出率，所以做一个简便醒目的导航就可以了。

3.页面静态化
静态化对于SEO是基本要求，由于静态化能打开速度快，减轻服务器负担，不牵扯数据库，让搜索引擎十分喜爱这类页面，如果是原创，还会达到秒收效果。



四、具体指标
1、网站的站点地图（sitemap）是否制作。
2、Robots文件是否制作。
3、HTML标签是否合理布局。
4、网站是否存在死链接、死循环。
5、首页www与不带www使用301重定向到一个地址上面，如果有多个域名要确保只有一个主域名，其余域名全部使用301重定向。
6、首页主域名确定后，不允许出现index.html或其它结尾的网址访问，如需访问请使用301重定向。
7、URL中统一进行小写，避免URL访问同一内容数据，如需多个URL，请使用301重定向。
8、如有tag页面，URL则需中文化。
9、URL伪静态处理，如果收录很多，记住URL无需在进行更改。
10、目录要采用以/结尾的方式存在。
11、小型网站的层级尽量保持在3层。
12、SEO优化中面包屑导航使用。
13、网站的导航尽量包含关键词。
14、确保栏目在首页有入口，内容页在栏目页有入口。
15、首页导出链接要低于100个。
16、栏目如果内容多，翻译采用双排形式。
17、在文章页、首页、栏目中都存在最新更新板块，可以起到促进收录和全站更新的作用。
18、在文章页调用相关文章，且调用数据不能改变，确保每一个页面都有来自其它页面的链接。
19、二级域名对于小型网站来说不如一级目录效果好。
20、避免蜘蛛陷阱：flash、js调用、跳转、frame框架，需登陆查看，使用cookies。
21、SEO优化中网站的图片是否使用alt属性。
22、html代码中前100行需出现正文。
23、网站LOGO图片alt属性。
24、浏览器兼容性。
25、冗余代码，如css代码外置，js代码外置等。
26、网页GZIP压缩。
27、网站的页面大小，控制在100KB。
28、每个网页最多距离首页四次点击就能到达；
29、网站的导航系统最好使用文字链接；
30、网站导航中的链接文字应该准确描述栏目的内容；
31、整站的PR传递和流动；
32.物理及链接结构
33.URL静态化
34.绝对路径和相当路径
35.内链的权重分配及网站地图
36.避免蜘蛛陷阱
37、网站的404页面、500页面。