1. 日志的数据往往比GA之类统计工具的全，更适合对流量的细分分析；
2. 用日志数据写脚本去生成周报什么的，比GA后台慢慢查、或是用GA的API，相对方便快捷；
3. 可以依其数据屏蔽些页面。见到最极端例子是前公司，有个主题帖量大致十万级的论坛，其中大部分抓取，都是抓其中的“只看该作者帖子”的无意义链接。
从爬虫日志分析中能获取的一些SEO信息
1.抓取页面量和流量的分配（一般抓得多的页面权重高，是否着陆合适的关键词）
2.是否有垃圾页面抓取（手机页，带参数的页面，个人profile，各种非200响应码等等）
3.抓取是否有断档，可能是服务器或者程序出了问题
4.抓取能覆盖到页面的比例是多少，链接是否有问题
北京网站建设 北京网页设计 网站制作（www.bjycxf.com）
