据媒体报道，Cloudflare 与 OpenAI 于周四公布了双方今年 7 月启动的研究试点项目成果。该项目利用 Cloudflare 的全球网络流量信号，辅助 ChatGPT 发现传统爬虫容易遗漏的网页，显著提升了搜索索引的覆盖面与时效性。
激活长尾内容，优化爬取效率
试点仅在 Cloudflare 网络约 1% 的范围内运行，但效果显著：OpenAI 的索引中已新增数以亿计的页面。这些内容多来自小型网站、长尾资源及低频更新站点，如电器说明书、护照费用信息及当地餐厅菜单等。此类信息虽是用户高频查询对象，却常因传统爬虫更新滞后或忽略而难以获取。
通过接收 Cloudflare 提供的页面变更提示，OpenAI 能够优先处理高价值页面，大幅减少对过时或无效内容的重复请求。Cloudflare 强调，其仅提供引导发现的信号，不参与页面排名；内容的相关性与实用性仍由 OpenAI 独立评估。双方将这一机制定义为旨在提升发现效率与信息准确性的反馈循环。
迈向“代理互联网”的基础设施
此次合作契合 Cloudflare 提出的“代理互联网”（agentic internet）战略。随着自主智能体的普及，互联网需从面向人类搜索转向可被机器读取、发现和调用的形态。Cloudflare 此前推出的“智能体就绪度”评分显示，多数热门域名在结构化数据、访问控制及支付接口方面准备不足。
当前，大量合规机器人因误读网站地图或忽视 robots.txt 规则，对未变更页面发起数十亿次无效请求，既增加服务器负载，又导致新鲜内容隐藏。新试点引入主动信号机制，使网络从被动等待抓取转变为主动推送更新，从而缓解基础设施压力并改善数据新鲜度。
隐私边界与行业影响
针对隐私担忧，Cloudflare 明确表示，该研究仅使用元数据信号，不涉及页面内容分享或模型训练，且网站所有者仍掌握访问控制权。尽管 X 平台上有批评声音认为此举类似监视或质疑 RSS 的有效性，但行业观点认为，标准化的共享变更信号有助于缓解因网站屏蔽 AI 爬虫导致的索引碎片化问题。
对于出版商和开发者而言，更精准的索引意味着流量回归与幻觉减少。当智能体能快速定位官方文档或实时数据时，其行动可靠性将显著提升。双方高管坦言项目仍处于早期阶段，下一步将重点测试更快的变更检测能力，并量化内容被发现后对网站所有者的实际业务影响。