AI爬虫吃掉九成流量：一个运行近三十年的电影数据老站被迫下线重建

2026年3月5日，电影数据网站 The Numbers 的旧服务器停了下来。它没有遭遇勒索软件，没有被收购，也没有因为创始人退休而关停。一周后，它以精简版重新上线：历史图表、单片详情页、Report Builder 等功能全部消失，只剩下最核心的票房数据骨架。

创始人 Bruce Nash 后来给出的数字，解释了这个决定。2026年初，The Numbers 只有约 10% 的流量来自人类浏览，其余九成是 AI 爬虫、智能体和各类自动化请求。与此同时，团队约 90% 的时间花在维持旧站运行上，几乎没有余力做别的事。一个运行了近三十年、积累了约16万个源文件、服务约200万页面的系统，最终不是被某一次攻击“打垮”，而是被一种持续存在、不产生任何回访的访问模式拖到了维护极限。

两个“九成”放在一起，才是真正的信号

单独看“90%流量不是人”，这是一个猎奇数字。但把它和“90%时间用于维持旧站”放在一起，问题的性质就变了：流量本身从资产变成了负债。

The Numbers 不是一个小站。它从1997年起步，起初只追踪300部电影，到2026年初已经覆盖 78,396 部电影、178,375 条院线发行记录和 236,176 名从业者，每年访问量超过800万，被记者、学者和行业分析者长期使用。前二十多年里，它面对的机器访客主要是搜索引擎爬虫——这些爬虫读走内容，也会把读者送回来。偶尔有过度抓取的个人项目，团队能发现，也能封禁。

变化发生在最近两三年。AI训练抓取、AI搜索按需抓取、智能体代替用户反复访问同一页面，以及行为不明的自动化程序，在同一时间涌入了同一套为“人类+搜索引擎”设计的旧架构。它们都叫“流量”，但成本结构和回报结构完全不同：训练爬虫批量读取，不承诺回访；实时智能体可能高频重复请求；其中还混杂着探测后门的异常访问。The Numbers 的旧系统有十六万个源文件，任何一次流量结构的变化，都会直接放大成源站 CPU、数据库连接和带宽账单上的压力。

旧系统的“技术债”，在机器流量面前被重新定价

The Numbers 的旧架构不是为2026年的流量形态准备的。它最初建立在 Geocities 时代，后来逐步扩展，本质上是一套运行了近三十年的单体系统。在人类浏览为主的时代，这种“技术债”是慢性的，可以靠时间慢慢消化；但在机器流量占比逼近九成的环境里，它变成了急性的。

关键不在于“旧代码不能跑”，而在于旧代码的每一个低效环节，都会被机器流量按数量级放大。一个为人类设计的页面，可能一次请求触发多次数据库查询；一个没有强缓存的接口，可能被智能体在几分钟内反复调用；一个遗留的导出路径，可能被自动化程序当作批量读取的入口。The Numbers 团队没有选择在原系统上打补丁，而是在新基础设施上重建了精简版。这不是一次功能升级，而是一次止损式的架构切换：放弃那些“看起来很完整、但每一部分都在被机器流量消耗”的功能，把成本压回可控范围。

“挡”不是答案，分层才是

面对这种局面，最直觉的反应是把爬虫全部封掉。但 The Numbers 的经历说明，简单封禁解决不了问题，还可能把有价值的访问一起关在门外。

在 The Numbers 的机器流量里，至少混着几类不同的东西：训练爬虫、AI搜索抓取、智能体按需访问、行为不明的探测程序，以及伪装成普通流量的自动化请求。只按 IP 封，分布式请求很快绕过；只看 User-Agent，身份可以伪造。Bruce Nash 后来在网站中加入供大语言模型读取的授权说明，告诉它们数据可以正式授权、应该怎样联系，而不是继续抓网页。他称这项调整让数据授权咨询量增加到了原来的大约10倍。

这当然不是一套完整的“解法”，但它指出了一个方向：不是把所有机器挡在门外，而是让不同类型的访问走不同的路径、承担不同的成本。可操作的分层包括：

· 边缘层先识别和削峰：用 CDN 或 WAF 的 Bot 管理能力区分已验证搜索引擎、已验证 AI 服务、未验证自动化和异常探测，对高成本路径设置限速而非一律阻断。
· 把“贵”的接口保护起来：搜索接口、导出接口、归档页、大文件下载，通常是机器流量最集中的地方，也是成本最高的地方。把这些路径挪到需要参数签名或独立凭据的入口后面，静态内容交给缓存扛。
· 用授权和规则把一部分机器变成客户：The Numbers 的授权咨询增长说明，至少有一部分机器访问背后存在商业意图。把“允许访问”和“商业转化”放在同一条路径上设计，比单纯的“封”更可持续。