建站日志 09-26:源站日志的真相
迁到香港后源站日志掉了十倍。不是流量没了,是边缘把流量吞了。监控口径从此重写。
对三台机器的爬虫日志做了一天交叉分析,结论有点颠覆:源站日志从此不可信了。
主站迁到香港、CDN 边缘缓存全面生效之后,源站一天能看到的请求从十六万掉到一万二,谷歌蜘蛛从一天一千五掉到二十几。第一反应是心里一凉——流量崩了?查下来虚惊一场:大头都被边缘节点接住了,源站日志里剩下的只是“边缘没有缓存、必须回源”的那一小部分。
换句话说,以前源站日志看到的是全量,现在看到的是漏网。基于源站日志的一整套口径——蜘蛛量统计、推送配额判断、趋势监控——全都要重写:真实抓取量以后看 CDN 控制台和搜索引擎站长平台,源站日志降级为排障工具。
顺带把三台机器的蜘蛛真伪做了一遍身份核验。真百度有固定网段和反向解析,假百度来自家宽和云主机,其中一台假得挺敬业,专挑配置文件路径探测——那是漏扫,不是蜘蛛。最有意思的是神马蜘蛛:最勤快的中文蜘蛛,完全无视站点禁抓协议,还带着渲染引擎来执行脚本,协议层面拿它没办法。
也有好消息:百度在谷底出现了回升迹象,抓取量从每天十几次回爬到几十次,而且抓的内容是题库和标准词条——都是我们希望它抓的。低迷了几周之后,这个曲线斜率让人愿意多看两眼。
监控这件事,数据源变了,世界观就得跟着变。抱着旧日志当圣经,才是真正的瞎。