您的位置 首页 SEO

教你快速学会分析网站蜘蛛日志!

 分析网站蜘蛛日志是非常重要的环节,作为SEO优化人员必须掌握这项技能,我们通过网站蜘蛛日志的分析可以总结出:每天有多少蜘蛛来抓取我们的网站,都抓取了…

 分析网站蜘蛛日志是非常重要的环节,作为SEO优化人员必须掌握这项技能,我们通过网站蜘蛛日志的分析可以总结出:每天有多少蜘蛛来抓取我们的网站,都抓取了那些链接,有那些被成功抓取,那些抓取失败,网站是否被关入沙盒,是否被K等一系列信息!同时还可以分析“百度搜索引擎”、“360搜索引擎”、“搜狗搜索引擎”等的优化情况,下面我们进行详细讲解。

    网站蜘蛛日志在哪里获取

    网站蜘蛛日志是以.log结尾的文件,如果你用的是空间虚拟主机,那么在进入FTP时的“log”目录就可以下载到每天的日志信息,如果你用的是宝塔面板、WDCP面板,那么你需要在“www/wwwlogs”目录下来下载你的网站蜘蛛日志,如果用的windows服务器请在“BtSoft\WebSoft\apache\logs”目录中去寻找!

教你快速学会分析网站蜘蛛日志!

    用什么软件分析网站蜘蛛日志

    当你把蜘蛛日志下载到本地的时候,你需要把日志放入软件去分析,我们常用到的软件有两种,第一种是在线的“www。loghao。com”日志分析工具,第二种是需要下载本地的“光年日志分析软件”这两款分析日志工具非常不错,通常我们都结合使用,效果更好!

教你快速学会分析网站蜘蛛日志!

    如何识别蜘蛛都来自哪些搜索引擎

    下图是我用Notepad++软件打开网站日志的图片,下面做了详细的注解,分析百度来自哪个搜索引擎主要看“蜘蛛类型”    

教你快速学会分析网站蜘蛛日志!

    Baiduspider:就是百度蜘蛛,针对的是百度搜索引擎的抓取

    Googlebot:就是Googlebot蜘蛛,针对的是谷歌搜索引擎的抓取

    Sogou:就是搜狗蜘蛛,针对的是搜狗搜索引擎的抓取

    360Spider:就是360蜘蛛,针对的是360搜索引擎的抓取

    我们也可以用光年搜索引擎直接看到,我们的蜘蛛抓取表与抓取数据,非常直观!

教你快速学会分析网站蜘蛛日志!

    网站蜘蛛返回状态码解析

    蜘蛛返回状态码,也就是上图的“蜘蛛返回状态码”,根据不同的返回状态码,我们可以分析出抓取成功、抓取未成功、是什么原因造成的等等信息,下面举出各类状态码所代表的意思!

    200:代表搜索引擎蜘蛛访问成功;同时代表抓取成功。

    404:代表页面无法访问;蜘蛛访问页面未找到资源。

    410:代表请求的资源已永久删除,蜘蛛抓取资源被永久性删除。

   301:代表页面跳转;表示蜘蛛抓取资源时,我们的链接进行了跳转。

    403:状态码表示服务器拒绝请求。应该检查robots或者服务器访问权限。

    500:(服务器内部错误) 服务器遇到错误,服务器很不稳定造成的。
        
    一般而言,蜘蛛状态码我们用在线工具“logohao。com”来查看比较好!

教你快速学会分析网站蜘蛛日志!

    当然也可以用光年日志分析软件进行分析!

教你快速学会分析网站蜘蛛日志!

    如何查看蜘蛛抓取了那些链接目录

    链接与目录,我们通过上图的“蜘蛛抓取目录”可以分析出来,比如“/robots.txt”就是我们的“域名/robots.txt”我们通过光年日志进行分析比较直观一些!我们可以通过点击光年日志左边的“目录抓取”、“页面抓取”来进行查看分析!

教你快速学会分析网站蜘蛛日志!

教你快速学会分析网站蜘蛛日志!

    通过IP段分析蜘蛛类型

    IP段是指上图中的“蜘蛛IP”,这个IP代表的意思非常多,有降权蜘蛛,沙盒蜘蛛,高权重蜘蛛,低权重蜘蛛等等,通过蜘蛛IP段我们可以分析出我们网站的整体质量,下面来详细讲解下!

    123.125.68.*:这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。

    220.181.68.*:每天这个IP 段只增不减很有可能进沙盒或K站。

    220.181.7.*、123.125.66.*:代表百度蜘蛛IP造访,准备抓取你东西。

    121.14.89.*:这个ip段作为度过新站考察期。

    203.208.60.*:这个ip段出现在新站及站点有不正常现象后。

    210.72.225.*:这个ip段不间断巡逻各站。

    220.181.108.*:段的话,基本来说你的网站会天天隔夜快照,绝对错不了的,我保证。

    220.181.*:段属于权重IP段此段爬过的文章或首页基本24小时放出来。

    123.125.71.106:抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。

    220.181.108.91:属于综合的,主要抓取首页和内页或其他,属于权重IP段,爬过的文章或首页基本24小时放出来。

    我们通过“loghao。com”分析日志的时候,也可以从首页分析中更直观的看出来!

教你快速学会分析网站蜘蛛日志!

    好了,今天风雪就为大家讲解到这里,希望每一篇文章的质量都可以帮你更快的走进真正的SEO行业!SEO行业的数据分析是非常重要的,需要不断的学习下去。好了,最后希望大家都能更好的学会SEO,优化好自己的站点,让自己的生活更加美好!

本文来源于网络,不代表晴川门户网立场,转载请注明出处:https://www.zscntv.cn/30747.html
晴川

作者: 晴川

为您推荐

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

联系我们

联系我们

13071972829

Q Q: 207985384

邮箱: 207985384@qq.com

工作时间:9:00-18:00

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

网站地图
返回顶部
展开