通过网站访问日志的log文件查询蜘蛛动态是最简单的捕捉引擎动态的方法。但在wordpress的程序里更方便,wp程序为大家提供了一款可以记录蜘蛛动态轨迹的访问插件。wp-log-robots这款wp插件只记录搜索蜘蛛的爬行轨迹,非常适合站长对网站进行优化策论分析。
wp-log-robots插件下载:
wp-log-robots插件下载地址:http://downloads.wordpress.org/plugin/wp-log-robots.0.1.1.zip
wp-log-robots插件在启用后无需任何的设置,就可以正常运行。
那需要在哪里查看访问日志呢?查看方法
在您的域名后面输入robots_log.txt就看到蜘蛛访问记录了。没错这款插件的功能就是会自动在根目录创建记录蜘蛛访问记录的文章供站长浏览。是不是很方便
这款插件的优点既是引擎访问数据集中,有利于分析爬虫的访问状况,对网站SEO、内容发布时间等具有指导作用。缺点是,他只是纯粹的原始数据,需要站长进一步人工添加分类。