蜘蛛取证学:如何分辨真伪爬虫

运营内容站,迟早要回答一个问题:日志里这些自称搜索引擎的访问,是真是假?答错两个方向都有代价——把真的当假去封,收录完蛋;把假的当真供着,扫描器和采集器白吃你的带宽。这篇是我们多轮取证沉淀下来的完整鉴定学。

第一课:字段,字段,还是字段

一切鉴定始于日志字段的正确性。自定义格式的访问日志里,客户端真实地址的位置和直觉常常不符——它可能在第八段而不是第一段。我们有过惨痛教训:取错字段,把浏览器标识当地址,得出“蜘蛛全是假的”的结论,直到全量重验才翻案。鉴定第一课不是技术,是纪律:先拿一条已知样本验证你的字段解析,再谈批量结论。

第二课:反向解析的两步验证

正牌搜索引擎蜘蛛有可验证的身份:对地址做反向解析,得到形如“某某爬虫某引擎域名”的主机名,再把这个主机名正向解析回去,必须得到原地址。两步都对,身份坐实。只做第一步是不够的——反向记录可以被伪造,正向比对才闭环。

实战中还有几条有用的地区情报:某些搜索引擎的特定网段没有反向解析,这不是假的——个别蜘蛛从来不配反解,鉴定要落到网段归属(查地址的注册组织)和行为,而不是死磕反解;还有自家的定时巡检如果伪装了蜘蛛标识,要在自己的鉴定口径里登记豁免,否则每天都制造一条假警报。

第三课:当标识本身不可信

进阶的对抗里,浏览器标识也不可信了:有人拿真蜘蛛的标识去探测配置文件路径,有人用自家的内容管线在高频调用接口。这个阶段的鉴定要升级两层。一是多源交叉:地址口径、标识口径、行为口径分开统计,任何一个口径被污染,其他口径还能兜底——我们就遇到过地址口径被假蜘蛛污染后,只能以转发头取真实地址重算的案例。二是自报家门:自家的诊断工具全部用可自识的命名,和外界流量天然区分,审计时一眼剥离。

第四课:行为画像

身份存疑时,行为是最后的裁判。我们总结过几组高区分度的行为特征:真人会带引用页、有随机的浏览深度;扫描器专打配置文件与后台路径;采集器按栏目顺序批量拉取、不拉样式脚本;某社交巨头的爬虫则翻遍特殊页面无限分页——它的鉴定不走反解,查地址的注册组织和自治域编号,一查一个准。

有一个反直觉的裁决案例:某大厂爬虫无视禁抓协议硬爬,按理该封。最后的决定是不封——因为它的标识关联着 AI 收录体系,一刀切会连 AI 引用一起杀掉,与内容分发策略冲突。鉴定学给的是事实,要不要动手是策略。

自省:自家机器人也是“假蜘蛛”

鉴定学还有一面要照向自己。自家的内容管线高频调用站点接口,曾有一个月产生了九千多次裸接口请求加数千次令牌请求——这些流量全部来自本机、带着自家的工具标识,在日志分析时一眼可辨,但在不知情者眼里就是一波密集的接口攻击。那次自省之后做了两件事:管线内的令牌改为缓存复用,把请求量砍掉一个量级;全部自家工具登记进鉴定豁免清单,标识、来源、行为三个维度都登记。

这件事的启示是双向的:你分析假蜘蛛的同时,你的自动化工具也在别人的日志里当假蜘蛛。自报家门、限速礼貌、行为可辨识,既是给别人的善意,也是给自己留的辨认标记——等你需要分析自家流量时,会感谢当初登记了这些名字。

操作层面:三件趁手的工具

方法要落到工具上。反解两步验证,一条命令管道就能做:查地址的反解主机名,再解析主机名回比地址,输出布尔结论,批量循环跑全量日志。网段归属,用注册数据查询服务看地址段挂在哪个组织、哪个自治域——鉴定社交巨头爬虫时就靠这个:地址无反解属正常,但注册组织指向它的自治域,身份即坐实。第三件是自报家门的规范:自家所有自动化工具的标识统一用可识别的专属命名,并写进鉴定的豁免清单——不然自家巡检每天制造几十条“假蜘蛛”,全是自己人。

一个完整的案例

走一遍完整流程。某日日志出现十二条带搜索引擎标识的访问,目标路径全是配置文件与后台目录。第一步反解:地址来自一家家宽运营商,反解不存在或对不上——标识存疑。第二步归属:注册组织是省内宽带接入商,不是任何搜索引擎的自治域——假。第三步行为:目标路径全是敏感探测,无正常内容请求——扫描器,不是采集。结论:伪标识扫描,处置进黑名单。全程十分钟。而没有方法论的团队,这类访问要么被当真蜘蛛供着,要么被一句“反正封了再说”误伤真蜘蛛。

第五课:知道什么时候用不上鉴定

最后一课来自一场爬虫战争:当对面用全球住宅代理轮转、每个地址只出现一两次时,一切基于地址和身份的鉴定同时失效。那一刻的结论不是换更高级的鉴定,而是承认——鉴定学的边界,就是“对面开始付费伪装”的那条线。线内,方法论通吃;线外,是成本对抗,该走商务和内容路线了。

把这套东西沉淀下来,花的是几周的日志,换来的是此后每一次“这蜘蛛是真的吗”都能在十分钟内有答案。值得。