Cloudflare AI 爬虫管控：从一键拦截到精细化分类与付费时代

一、AI爬虫带来的挑战与Cloudflare的回应

随着生成式AI的爆发，大量AI公司通过爬虫抓取网站内容用于模型训练，这打破了传统“搜索换流量”的契约，对网站所有者构成生存性威胁。Cloudflare推出AI Crawl Control，旨在帮助网站管理员控制AI爬虫何时以及如何访问内容，提供可见性和管控能力。

二、三段式分类：更精细的管控

Cloudflare重构了AI爬虫管控体系，将原先的一键拦截开关拆分为三个独立选项：

• Search：传统搜索引擎爬虫（如Googlebot），用于索引内容。
• Agent：代表AI代理或助手进行实时抓取的爬虫（如某些AI搜索工具）。
• Training：专门用于AI模型训练数据采集的爬虫。

网站管理员可以分别配置每个类别，实现更精准的拦截或允许策略。

三、按抓取付费：新型商业模式

除了免费的基础管控，Cloudflare还推出了“按抓取付费”（Pay-per-Crawl）封闭测试。该功能允许网站所有者要求AI爬虫为其抓取行为付费，爬虫运营商需声明其目的或意图。这为网站内容变现提供了新途径，与AI Crawl Control形成互补——前者侧重控制，后者侧重商业补偿。

四、默认阻断与历史影响

早在2025年起的报道中，Cloudflare就已宣布将从2026年9月15日起全面默认阻断AI爬虫，这一举措被视为对AI公司侵权的强力反击，被称为“赛博菩萨”为网站所有者撑腰。目前，Cloudflare的AI爬虫管控方案已获得广泛关注，用户可在后台一键开启或精细配置。

信息来源：Cloudflare官方AI Crawl Control页面、OSChina报道、澎湃新闻、证券时报等。