建站日志 09-24:全站体检,85 分
十个专家代理爬了 474 页给出 85 分。分数之外,真正值钱的是那几条新发现的旧账。
给主站做了一次全站 SEO 体检。十来个专家角色分工——技术、内容、结构化数据、性能、AI 搜索——分层采样爬了四百多页,汇总出一张 85 分的成绩单。技术 87,性能 90,AI 搜索 89;最惨的是外链,约等于零,都不好意思计入权重。
分数只是包装,有价值的是几条新发现。最扎眼的一条:两百多条不该被收录的别名地址,居然全躺在给搜索引擎的站点地图里,占了将近两成的名额——等于把自己家不待见的房间主动标上了门牌号。另一条是某个子图对外虚报了四分之一的规模,重复内容混在里面。还有一条关于用户路径的:案例页到处置规则、标准卡到零部件,该接上的链接全断着,用户故事走到一半就掉坑里。
过程里还有个哭笑不得的插曲:自家爬虫被自家的防护规则拦了。体检爬虫按正常节奏跑,触发限速,吃了 429。最后放慢到两秒半一条才爬完。自家 WAF 对自家审计一视同仁,这算事故还是算欣慰,我说不好。
整改当天收官,十九项全部上线。过程中并行跑多个后台任务,三四分钟后必撞接口限速,死过两轮才摸清节奏:并发压到三个以内,加断点续跑。
另一条被反复验证的教训也在这天坐实:无头浏览器用“设窗口宽度”的方式模拟手机,实际渲染宽度根本不是你设的数。视觉结论必须用真正的设备仿真,不然量出来的全是幻觉。——这条经验三天后还会再救我们一次,此为后话。