全球網路流量的主角，已經不再是人。Cloudflare CEO Matthew Prince 引述 Cloudflare Radar 最新數據指出，全球 HTTP 請求裡機器人流量已經來到 57.4%，人類只剩 42.6%，而且這個拐點比他原本預估的 2027 年還早到。Prince 接著丟出一句更重的判斷：web 的下一步很可能是 pay to crawl。這不是一句搶標題的感嘆，而是 Cloudflare 已經在推的一整套內容存取、身份驗證與按次收費框架。
先把事實講清楚。Cloudflare 不是單純在評論產業方向，它本身就是站在流量管線中央的玩家。官方資料指出，Cloudflare 目前管理超過全球 20% 的 web 流量、每天處理數兆次請求，過去一段時間也已經靠 Radar 與 bot management 系統累積了大規模爬蟲觀測資料。早在 2024 年 9 月，它就讓網站主能一鍵封鎖 AI crawlers；到了 2025 年中，Cloudflare 更把新網域對 AI crawler 的預設策略改成 permission-based，也就是沒有允許，就不該抓。官方說已有超過一百萬個客戶啟用過這套封鎖功能，現在則想再往前一步，從「能不能抓」走到「要抓可以，但你得付費」。
這條線之所以突然變得急迫，是因為 AI 搜尋與代理流量已經開始把舊 web 商業模式壓到幾乎失衡。傳統搜尋引擎和內容網站的交換邏輯很簡單：搜尋引擎爬你的頁面、建立索引、再把用戶送回原站，網站靠廣告、訂閱或品牌觸及變現。Cloudflare 現在說，這個交換已經不成立了。AI 系統照樣大量抓內容，但使用者越來越常在 ChatGPT、Gemini 或其他答案引擎裡直接拿到整理過的結果，根本不再點回原站。內容還是被吃掉，回流卻越來越少。
Cloudflare 自家的 crawl-to-referral ratio 指標把這個問題量化得非常殘酷。官方部落格舉例，在 2025 年 6 月下旬的一段觀測期間，Anthropic 的爬取與導流比高達 70,900:1，意思是每帶來一個 HTML referral，Claude 相關 crawler 幾乎已經先抓了七萬多頁。Matthew Prince 在另一篇官方文章裡把歷史比較講得更白：相較於舊時代的 Google，現在要從 OpenAI 流量拿到同等回流，難度高出約 750 倍；如果是 Anthropic，甚至高出 30,000 倍。這些數字未必能完整代表所有 app 內部流量，但方向很明確，AI 平台對內容的索取速度，早就遠遠超過它們回饋給出版者的流量。
這也是 Cloudflare 為什麼把問題定義成「內容交換機制失效」，而不是單純的 bot 治理。Cloudflare 看到的不是多一批 AI (人工智能) 爬蟲，而是一整個答案型網路正在成形：AI 平台需要持續抓新內容來訓練 大型語言模型、補即時搜尋、支撐 agent 任務與生成回覆，但提供內容的人卻很難再用舊式的點擊與曝光變現。這和我們先前看到的 Google 把 AI Mode 與 Gemini 一起塞進搜尋，Google Search 正從索引入口變成任務入口 是同一條線，只是 Cloudflare 把上游代價講得更直接：當答案在平台內就被消化掉，原始內容站的議價能力就會快速被抽乾。
為了把這件事從口號變成產品，Cloudflare 已經把 pay per crawl 的協議草圖端出來了。目前 private beta 裡，網站主只有三種選擇：Allow、Charge、Block。Allow 就是免費放行；Block 是直接拒絕；Charge 則是讓 crawler 付費才能拿到內容，而且目前價格模型先從全站單一的 flat per-request price 開始。官方還沒有公布公開市場上的價格帶、分潤比例、Cloudflare 抽成與結算週期，但從機制上看，它已經不是單純倡議，而是一個可以實際執行的 access layer。
| 發布者設定 | 爬蟲看到的結果 | 商業含義 |
|---|---|---|
| Allow | 正常取得內容 | 繼續免費開放 |
| Charge | 先看到 402 Payment Required 或帶價格資訊的回應 | 願意付費才可抓取 |
| Block | 直接被拒絕 | 不開放存取，也不談價 |
更有意思的是，Cloudflare 連技術細節都已經開始標準化。它不是只在管理後台放一個「收費」按鈕，而是把整件事做成 protocol-level 的溝通方式。Crawler 需要用 Web Bot Auth 與 HTTP Message Signatures 來證明自己是誰，並透過像 signature-agent、signature-input、signature 這些 header 送出身份資訊。當內容需要付費時，Cloudflare 可以回傳 HTTP 402 Payment Required，並附上 crawler-price 告知價格；如果 crawler 願意接受，也可以用 crawler-exact-price 或 crawler-max-price 回頭表明付款意圖，通過後再由 crawler-charged 確認實際扣款。換句話說，Cloudflare 想做的不是私下授權市場，而是讓爬取授權可以像 HTTP 本身一樣被程式化處理。
這個設計背後真正的野心，是把內容存取變成 AI 代理可以直接理解的採購層。Cloudflare 在官方部落格裡已經把未來場景講得很清楚：今天先是 crawler 付費讀內容，明天就可能是 agent 拿著預算，自動去買最值得的研究報告、法律資料、醫療文獻或即時商業情報。這代表 pay per crawl 不只是出版業對 Token 經濟的一次反擊，也可能是代理式網路支付與內容授權的前哨站。如果未來使用者不是自己開網頁，而是讓 agent 幫他做研究、找商品、整理 briefing，那 agent 要如何合法又有效率地買到內容，確實會變成基礎問題。
不過，Cloudflare 這條路也還遠不到已經跑通。Prince 自己就在 X 上承認，現在最缺的還是「能撐住規模的 protocols 與 infrastructure」。官方也沒有公布有多少 AI 公司已經正式接上這套付費流程，更沒有公開哪一些 crawler 願意在真實流量下穩定出錢。現階段參與 private beta 的，可以是 publisher，也可以是 crawler；但這更像是在為未來市場建制度，而不是立刻就能替所有內容站帶來新收入。
真正讓這件事有份量的，是支持名單已經不只是傳統媒體。Cloudflare 公開點名的支持者裡，除了 Condé Nast、Dotdash Meredith、Gannett、TIME、The Atlantic、Associated Press 與 O'Reilly Media，還包括 Reddit、Pinterest、Quora、Stack Overflow、Webflow 等平台型公司。這說明大家看到的風險其實是一樣的：AI 平台會吃掉原站價值，不只新聞出版商受傷，論壇、社群與知識型網站同樣會被抽走內容與流量。對照 Cloudflare 說 AI 讓 1,100 個職位失去必要性，營收卻創單季新高 那篇我們已經寫過的站內文章，Cloudflare 現在顯然不只把 AI 當成內部效率工具，它也想把自己放到 AI 時代的流量收費口。
外部環境也讓 Cloudflare 的論點變得更難忽視。Google 最新資料顯示，AI Overviews 的月活已超過 25 億，AI Mode 也破 10 億，雖然 Google 現在開始提供 publisher opt-out 與 AI 搜尋成效報表，但外界對這種「可以退出，卻沒有公平補償」的安排並不買單。當 AI 答案介面把分發權握在平台裡，網站主其實只剩兩種很差的選擇：免費讓內容被吸進去，或者退出後自行承擔流量損失。Cloudflare 現在想做的，是把第三條路變成基礎設施：不再只問你要不要被抓，而是讓你能直接替抓取行為報價。
因此，pay to crawl 的真正新聞點不是 Matthew Prince 一句「未來會付費爬」，而是整個 web 正在被迫承認一件事：舊的搜尋分潤模型，已經不足以支撐 AI 時代的內容生產。當 bots 已經超過 humans，問題不再只是如何辨識誰是爬蟲，而是誰有權拿走內容、拿去做什麼、又願意付出多少代價。Cloudflare 這次想重寫的，不只是 robots.txt 的下一頁，而是整個答案型網路的經濟底層。