您现在的位置是:首页 > VPS面板 > 获取搜索引擎蜘蛛访问数量:使用宝塔面板插件网站监控报表或配置spider参数使用脚本查看

获取搜索引擎蜘蛛访问数量:使用宝塔面板插件网站监控报表或配置spider参数使用脚本查看

时间:2020-06-12 09:23:46  来源:www.vpskp.com  阅读次数: 我要评论

阿里云服务器 腾讯云服务器 习梦云:高防云服务器 ZJI:香港日本美国独服
LOCVPS服务周到 HostKvm低调KVM 傲游主机:优质VPS 80VPS:老牌VPS主机
搬瓦工:CN2 GIA线路 CloudCone:性价比高 Vultr:按小时计费VPS VirMach:超级便宜
JustMySocks科学上网 CloudRaft大硬盘VPS 洛杉矶QN机房官方VPS 恒创:香港CN2服务器

   网站的SEO优化是没有站长的必备工作,而SEO优化中很重要的一个步骤就是查询蜘蛛的量,如果每天蜘蛛都不来,那么搜索引擎就根本不会收录你的网页,如果蜘蛛爬虫来的很频繁,就说明搜索引擎比较喜欢你的网站。那么如果查看搜索引擎的爬虫来量呢?

    比较传统的方法就是看网站的日志,但是网站日志手动统计起来很麻烦。现在的站长大部分使用的宝塔面板,如果你使用的是宝塔面板的专业版,那么使用宝塔面板的插件“网站监控报表”可以比较方便的查看爬虫的记录。

宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取

    那如果不使用宝塔面板的付费版,就不能查看爬虫统计么?当然不是,我们还有其他方法来分析排重日志。

    注意,本次教程是以centos7系统,同时安装了宝塔面板(免费版亦可)的情况下做演示的。其他环境仅供参考。

一:配置脚本

    首先,下载下方的spider.sh,将spider.sh,上传至服务器的/root目录下面。

    下载地址:https://d.kxxzz.com/web/图片/20200223/spider.sh

宝塔服务器面板,一键全能部署及管理,送你3188元礼包,点我领取

1.1 找到你对应的网站LOG位置

    如果你用宝塔面板,那么log的位置为/www/wwwlogs/

    例如图上面,我的go.kxxzz.com的log位置为/www/wwwlogs/go.kxxzz.com.log

1.2 配置spider参数

    回到/root目录,找到spider.sh,点击右侧的编辑。

    将画横线的地方,改为你的log的地址,然后点击保存。

二:使用脚本

    使用SSH软件,登录到你的服务器上面,然后执行下面的代码。

bash spider.sh

    就会得到下面这个结果

    如上图,可以看出来,在log里面,有谷歌的蜘蛛访问3次,字节跳动的蜘蛛访问1次。


搬瓦工:CN2 GIA线路 CloudCone:性价比高 Vultr:按小时计费VPS VirMach:超级便宜
JustMySocks科学上网 CloudRaft大硬盘VPS 洛杉矶QN机房官方VPS 恒创:香港CN2服务器
留言与评论(共有 0 条评论)
   
验证码: