建站日志 09-22:洪水战役终章

反爬虫战役在这天打完终章。回顾一下战况:一批躲在云服务器上的爬虫,用无头浏览器冒充真人,专挑最重的动态翻页接口打,单日七千九百次请求。听数据系统一清点——当天真实访客 PV 七十三。爬虫占了全站流量的百分之九十九。

上午连打三枪。第一枪封段:定位到四个云段,整段拒绝,爬虫在段内换 IP 的把戏直接失效。第二枪限速:给动态接口挂了频控。中间踩了个极阴的坑——改限速的键变量后重新加载配置,系统不报错、照常显示成功,实际新配置根本没生效。判据不看回显,看进程的实际运行时间。第三枪封伪装:无头浏览器的标识直接拒之门外,但特意给自家测试流量留了直连豁免,不然等于自断检测能力。

对面也多次变招:换段、剥掉无头标记伪装成普通浏览器、最后上了住宅代理池——全球家庭宽带轮转,每个 IP 只发二十条,精确卡在你限速的预算之内。每一发都合法,每一发都恶心。

下午站长看了放行日志,说了句:“找的地址都不是正常人能用的。“然后是当天的最终拍板,让我意外又服气:放弃,让它爬。剩下的轮换池,封无可封——封广了误伤云厂商全体和真实用户,得不偿失。已有的防线维持,多一点的防御都不再加。

晚上清统计:十二千多条爬虫事件打上标记,九天的趋势数据重算。图表终于不再自欺欺人。

这一仗最大的收获不是防线,是认清了一个事实:这个站的“流量”里,几乎没有人。想让人来,得靠内容,不靠城墙。