如果你的网站发生一些问题，我们可以通过网站日志查看搜索引擎蜘蛛对网站访问的具体情况来找到一些答案。今天网域动力与大家分享一下自己平时的做法，希望能对大家有帮助。
查看搜索引擎蜘蛛爬行总次数
一个网站的收录首先要搜索引擎蜘蛛来到网站爬去才能够实现。通过查看日志能够清楚的看到每天蜘蛛访问网站的总次数有多少，从而大致的判断唐山网站制作的权重如何。一个高权重的网站，蜘蛛来访的次数相对是较多的，相反，一个低权重的网站，即使有非常庞大规模的内容，蜘蛛来访的次数依旧有限。爬行次数有限，分配的时间和深度也就有限，所以收录也就受到了限制。所以我们的重点就是多提供百度来访我们网站的入口，只有入口多了，访问次数才能得到提升。
查看所有被爬行目录的整体情况
通过日志查看所有被爬行目录的整体情况，能让我们知道搜索引擎爬行最多的目录是哪些，是否是我们想要提供给用户的目录。一般可以非常清楚的看到排名前十位的目录，如果这些目录并不是我们重点提供给用户内容的目录，那么就需要做出调整，说明当前的一些目录被多度爬行了，而真正有价值的目录没有被搜索引擎过度重视，要及时发现并找到原因。
查看爬行榜前十名的页面情况
除了查看蜘蛛总访问次数以及爬行目录的整体情况，剩下一个非常重要的就是查看爬行总页面的情况。我平时分析网站的时候，时常会看到，被蜘蛛爬行前几名的页面都是一些无关紧要的页面，比如B2C购物车链接页面、比如联系我们页面、一些主题中CSS文件，这些页面和文件对排名和收录本来没有实际的帮助，但现实情况是蜘蛛爬行的最多，所以就会造成浪费，毕竟蜘蛛来访一个网站的总时间和总爬行次数是一定的，总抓取深度也是一定的，如果时间都浪费在了这些页面上，那么对于重点的内页收录就会受到影响。因此通过日志发现之后，就需要在robots.txt中屏蔽掉，或者在页面meta中屏蔽掉。
查看平均爬行一次的抓取深度
通过日志查看平均一次的抓取深度能有效的了解到唐山网站设计内部结构的不足。比如百度蜘蛛在某天访问网站总共688次，抓取量是789，那么平均每次抓取的页面数就为1.2页。其实这个数据也是普遍存在的现象，很多网站都存在这样的现象。这充分说明了网站的内部链接做的不足，或者网站结构存在问题，或者是内容出现了高度重复现象，导致蜘蛛来到网站，要么没有什么新发现，要么被结构所阻止，爬行不到新的页面。毕竟，蜘蛛平均在我们网站存在的整体时间是有限的，在这个有限的时间内，如果我们自己设置了障碍，那么蜘蛛就会走掉，是非常可惜的事情。