网站日志怎么分析?有什么作用?
2022-04-18 21:00:07来源:seo知识网作者:seo知识网阅读量:
网站做好了,我们还需要引导蜘蛛来网站抓取,了解蜘蛛的抓取规律,我们才能更好的去优化网站。而想要分析出搜索引擎蜘蛛爬取的规律,我们就需要懂得分析网站日志,那么网站日志怎么分析?有什么作用?一起随seo知识网来详细了解一下吧。
一、蜘蛛日志分析返回状态码
1、200:代表服务器返回页面成功;
2、404:代表页面无法访问;
3、301:代表页面301转向(重定向);
4、304:代表客户端已经执行了GET,但文件未变化;
5、500:代表服务器遇到错误,无法完成请求;
6、403:代表表示服务器拒绝请求。
二、在日志中能看到哪些数据?
在文件中我们可以看到蜘蛛的IP地址、访问的时间、蜘蛛抓取的网页地址、http状态码、请求方式、字节数等,日志代码示例如下:
220.181.108.79– – [18/May/2020:10:30:32 +0800] “GET /soft/17.html HTTP/1.1” 200 6779 “-” “Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http:// www.baidu.com/search/spider.html)
三、蜘蛛日志分析有什么作用?
1、通过分析我们可以判断蜘蛛有没对站点进行抓取,有没成功,也可以判断网站是不是符合搜索引擎的抓取规范,如有抓取失败可以找出原因。
2、可以判断哪些页面蜘蛛的访问频率太高,影响了服务器的正常运行,我们可以做出调整,限制蜘蛛的访问频率来保证服务器速度的稳定。
3、通过蜘蛛日志分析文件,我们可以判断有多少权重蜘蛛,看到蜘蛛的访问路径,更好的优化站内结构,同时可以判断出恶意攻击的行为。
四、常见搜索引擎的蜘蛛所使用的Agent列表
Google蜘蛛 :Mozilla/5.0 (compatible; Googlebot/2.1; +)
Baidu蜘蛛 :Baiduspider+(+)
Yahoo!蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; )
Yahoo!中国蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp China; )
微软Bing蜘蛛 :msnbot/2.0b (+)
Google Adsense蜘蛛 :Mediapartners-Google
有道蜘蛛 :Mozilla/5.0 (compatible; YoudaoBot/1.0; )
Soso搜搜博客蜘蛛 :Sosoblogspider+(+)
Sogou搜狗蜘蛛 :Sogou web spider/4.0(+#07)
Twiceler爬虫程序 :Mozilla/5.0 (Twiceler-0.9 )
Google图片搜索蜘蛛 :Googlebot-Image/1.0
俄罗斯Yandex搜索引擎蜘蛛 :Yandex/1.01.001 (compatible; Win16; I)
Alexa蜘蛛 :ia_archiver (+)
Feedsky蜘蛛 :Mozilla 5.0 (compatible; Feedsky crawler /1.0)
韩国Yeti蜘蛛:Yeti/1.0 (NHN Corp.; )
以上就是【网站日志怎么分析?有什么作用?】的介绍,希望对大家有所帮助。如果大家还想要了解更多seo优化知识,可以关注和收藏我们seo知识网,seo知识网会不定期更新网站建设、seo优化、网站优化方案、seo工具、seo外包、网络推广等方面知识,供大家参考、了解。
上一篇:中大型网站怎么优化 下一篇:网站页面如何被快速收录?需要注意什么?
相关文章
-
网站优化遇到降权的原因
网站优化遇到降权的情况,要么是站内出现问题,要么就是站外出现的问题。站内原因通常是站长操作错误导致的,站外则通常是被攻击或者牵连导致的。下面seo知识网就为大家详细介...
阅读: 114
-
网站怎么优化更有利于关键词排名的提升
很多公司网站搭建好之后,每天都有稳定更新维护,但是关键词排名却一直无法提升上去,主要的原因就是网站优化没有做好。今天seo知识网就为大家介绍一下网站怎么优化更有利于关...
阅读: 54
-
网站seo的六个流程步骤
网站seo是一个需要有足够耐心、细心的工作,需要有足够时间的积累,做好基础优化才能见到效果的工作。今天seo知识网为大家分享网站seo的六个流程步骤,让大家对网站seo的流程步骤...
阅读: 77
-
seo优化过程中需要注意这几点
每一个seo优化都有一套自己优化的方法技巧,但是在seo优化过程中同样有一套准则,一些需要注意的事项。今天seo知识网就为大家介绍一下seo优化过程中需要注意的几点方面。...
阅读: 83
-
福州网站优化如何加快网站收录速度?
福州很多人公司都搭建起了网站,但是网站的收录页面数量一直上不去,甚至有的公司网站首页都没有被收录。今天seo知识网为大家分享一下福州网站优化如何加快网站收录速度?...
阅读: 78
热门文章
-
1.网站优化遇到降权的原因
- 1
- 网站优化遇到降权的原因
- 2022-11-21
-
2.网站怎么优化更有利于关键词排名的提升
- 2
- 网站怎么优化更有利于关键词排名的提升
- 2022-11-21
-
3.网站seo的六个流程步骤
- 3
- 网站seo的六个流程步骤
- 2022-11-19
-
4.seo优化过程中需要注意这几点
- 4
- seo优化过程中需要注意这几点
- 2022-11-18
-
5.福州网站优化如何加快网站收录速度?
- 5
- 福州网站优化如何加快网站收录速度?
- 2022-11-18
-
6.网站seo优化不上去该怎么办
- 6
- 网站seo优化不上去该怎么办
- 2022-11-17
-
7.网站优化的3个阶段
- 7
- 网站优化的3个阶段
- 2022-11-16
-
8.网站页面优化的方法技巧
- 8
- 网站页面优化的方法技巧
- 2022-11-15
-
9.网站优化怎么快速提升排名
- 9
- 网站优化怎么快速提升排名
- 2022-11-14
-
10.网站seo优化怎么快速恢复网站权重
- 10
- 网站seo优化怎么快速恢复网站权重
- 2022-11-11
热门图文
-
福州网站搜索引擎优化排名的方法与步骤
2021-01-10
-
福州SEO优化推广哪家好?费用多少?
2021-03-10
-
福州seo网站优化如何选择靠谱的外包公司?
2021-03-03
-
福州关键词排名优化哪种方式好?
2021-04-14
-
沈阳网站优化如何设置关键词比较好?
2021-10-08
-
福州网站seo优化如何快速提升关键词排名?
2021-10-07
-
黑帽seo和白帽seo的区别与网站安全措施
2020-12-23
-
宁德网站seo优化后流量为什么上不去?
2021-01-24