
为什么 AI 帮你选相机,会让网站被访问五千次?
依据 Cloudflare CEO Matthew Prince:真正把流量曲线拉陡的,不是传统爬虫,而是为了给完整答案而大规模遍历网站的 AI 智能体。
若说网上机器人流量暴增,很多人第一时间想到的仍是老面孔:搜索爬虫、抓取工具、攻击流量。Prince 的观察却相反。他说,这些传统类别其实没有发生太大变化;像 Googlebot 这类为搜索建立索引的流量占比,甚至有所下降。真正把曲线拉陡的,是 AI 驱动的各类智能体。
五个网站,对上五千个网站
他举的例子刻意很日常:请 ChatGPT 或 Claude 帮你挑一台数码相机。为了给出靠谱、经过充分比较的答案,智能体访问网站的次数,可能比你亲自浏览高出好几个数量级。你或许货比五家、看五个评测站就决定了;智能体为了不遗漏信息,可能会遍历五千个相关网站。五千对五,就是一千倍差距的雏形——而这还只是选相机这类相对简单的消费决策。
把这种行为放大到更复杂的任务——做行业研究、比较保险产品、规划旅行——请求量就更容易想象了。智能体不会因为再开一个分页而疲倦,人会。单是这一点,就能改写服务器端所感受到的「网络有多拥挤」。
对你更全面,对互联网更沉重
从用户角度看,这笔交换很诱人:答案比你自己搜到的更全面。从互联网角度看,它却像「有目的的低效」——用成千上万次抓取,换来一次回复。Prince 的重点不是说智能体不该这样做,而是:若趋势持续,互联网将面对远超疫情时期流量翻倍的新增需求。
- 需要更多服务器、带宽、CPU、GPU、内存与存储,才能支撑智能体持续运作。
- 许多从未为「智能体级浏览」做准备的普通网站,也会承受更高负载。
- 当流量以数量级暴增,偏慢的基础软件栈也会被迫重新发明。
智能体、爬虫、机器人——实质相同
Prince 也提醒不要被用词带着走。叫「智能体」听起来很前沿,叫「爬虫」就略带贬义;底下都是机器自动抓取资源,而不是人手逐步点击。改变的不是「有没有自动化」,而是模型一旦能规划多步骤研究,自动化变得有多积极、有多频繁。
因此,选相机的故事重点不在购物建议,而在一种新的流量物理:一个人类意图,如今可以孵化出一大群机器请求。先看懂这个乘数,才比较容易理解:为什么人类上网人数未必同比例暴增,开放网络却突然变得更拥挤。