“赛博活雷锋”叫板谷歌，Cloudflare实则另有算盘
随着AI聊天机器人和AI搜索愈发受用户欢迎，AI厂商与内容创作者的矛盾激化，AI时代的流量争夺全面升级，“AI摘要”劫持流量让内容创作者难以接受。此时，云服务提供商Cloudflare选择站在内容创作者一边，不久前宣布默认阻止AI爬虫在未获网站所有者许可或补偿的情况下抓取内容。
为达成此目标，Cloudflare CEO马修·普林斯透露正与谷歌谈判，要求其将传统搜索引擎爬虫与AI爬虫分离，使网站能按需决定是否屏蔽AI爬虫，防止内容被抓取生成AI摘要。Cloudflare称，若谷歌拒绝分离，将考虑推动立法强制其执行。
Cloudflare有何底气与谷歌谈条件？作为CDN提供商，其竞争力源于全球超152个数据中心构成的专用高容量光纤网络，能为全球用户提供低成本甚至免费接入公开网络的能力。目前，全球20%的互联网流量经该公司网络代理，它也是全球最大规模的对等连接网络（P2P网络）之一。
Cloudflare网络上的大量网站和App是其底气，但想让谷歌屈服并不容易。AI搜索是谷歌的未来，若AI爬虫无法抓取内容，其市场竞争力将大幅下降。海外科技媒体如The Information也不看好Cloudflare，认为它无法阻止谷歌为AI产品抓取网站数据。
而且推动立法强制谷歌分离AI爬虫耗时数年，等立法完成，很多网站和内容创作者可能已被AI厂商冲击得难以生存。
既然如此，Cloudflare为何要这么做？其实它是在作秀，目的是推广自己的Pay Per Crawl平台。
Pay Per Crawl是Cloudflare推出的交易市场，为内容创作者和AI厂商提供交易撮合服务。早在一年前，Cloudflare就为使用其服务的网站提供AI审计工具 (Cloudflare AI Audit) ，报告AI厂商爬虫访问网站的情况。
交易平台成功的关键是买卖双方认可。目前，内容创作者和网站站长对Pay Per Crawl需求迫切，但AI厂商却不积极。
当前，普通网站难以抵御AI爬虫抓取，“软约束”的robots.txt形同虚设。AI将内容浓缩为摘要，使用户无需点击原文，导致网站流量和广告收入减少。
Cloudflare本月初数据显示，谷歌搜索爬虫约6至7次抓取带来1次点击，OpenAI的GPTBot 1500次抓取才有1次跳转，Anthropic的ClaudeBot效率更低，73300次换1次。可见，AI大厂与内容创作者基于内容创作、分发和广告/订阅收入的商业模式已受冲击。
习惯免费爬取内容的AI厂商即便想付费，也不愿让Cloudflare赚差价。为应对AI搜索对网站的冲击，谷歌推出Offerwall工具，让站长为用户提供多种内容访问方式，如小额支付、参与调查、观看广告等。
与按次付费的Pay Per Crawl不同，Offerwall通过网站向用户兜售小额支付获得内容访问权或通过激励广告变现。简言之，Cloudflare选择流量变现模式，谷歌则采用付费订阅模式。
显然，流量变现和付费订阅是相互排斥的。内容创作者不能将一份内容卖两次，选Offerwall就意味着放弃Pay Per Crawl。所以，Cloudflare为推广Pay Per Crawl，要让更多人知道它在为内容创作者“主持公道”。
【本文图片来自网络 】
本文来自微信公众号 “三易生活”（ID：IT-3eLife），作者：三易菌，36氪经授权发布。
本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。
免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com