
為什麼 AI 幫你選相機,會讓網站被訪問五千次?
依據 Cloudflare CEO Matthew Prince:真正把流量曲線拉陡的,不是傳統爬蟲,而是為了給完整答案而大規模遍歷網站的 AI 智能體。
若說網上機器人流量暴增,很多人第一時間想到的仍是老面孔:搜尋爬蟲、抓取工具、攻擊流量。Prince 的觀察卻相反。他說,這些傳統類別其實沒有發生太大變化;像 Googlebot 這類為搜尋建立索引的流量占比,甚至有所下降。真正把曲線拉陡的,是 AI 驅動的各類智能體。
五個網站,對上五千個網站
他舉的例子刻意很日常:請 ChatGPT 或 Claude 幫你挑一台數碼相機。為了給出靠譜、經過充分比較的答案,智能體訪問網站的次數,可能比你親自瀏覽高出好幾個數量級。你或許貨比五家、看五個評測站就決定了;智能體為了不遺漏資訊,可能會遍歷五千個相關網站。五千對五,就是一千倍差距的雛形——而這還只是選相機這類相對簡單的消費決策。
把這種行為放大到更複雜的任務——做行業研究、比較保險產品、規劃旅行——請求量就更容易想像了。智能體不會因為再開一個分頁而疲倦,人會。單是這一點,就能改寫伺服器端所感受到的「網路有多擁擠」。
對你更全面,對互聯網更沉重
從使用者角度看,這筆交換很誘人:答案比你自己搜到的更全面。從互聯網角度看,它卻像「有目的的低效」——用成千上萬次抓取,換來一次回覆。Prince 的重點不是說智能體不該這樣做,而是:若趨勢持續,互聯網將面對遠超疫情時期流量翻倍的新增需求。
- 需要更多伺服器、頻寬、CPU、GPU、記憶體與儲存,才能支撐智能體持續運作。
- 許多從未為「智能體級瀏覽」做準備的普通網站,也會承受更高負載。
- 當流量以數量級暴增,偏慢的基礎軟體棧也會被迫重新發明。
智能體、爬蟲、機器人——實質相同
Prince 也提醒不要被用詞帶著走。叫「智能體」聽起來很前沿,叫「爬蟲」就略帶貶義;底下都是機器自動抓取資源,而不是人手逐步點擊。改變的不是「有沒有自動化」,而是模型一旦能規劃多步驟研究,自動化變得有多積極、有多頻繁。
因此,選相機的故事重點不在購物建議,而在一種新的流量物理:一個人類意圖,如今可以孵化出一大群機器請求。先看懂這個乘數,才比較容易理解:為什麼人類上網人數未必同比例暴增,開放網路卻突然變得更擁擠。