10.7% 的顶级网站屏蔽 AI 搜索爬虫但仍允许 Googlebot

网络IT·安全

2026 年 9 月 7 日，作者抓取了 Tranco 榜单前 5000 个网站的 robots.txt，其中 2771 个提供了该文件。535 个网站屏蔽了 OpenAI 用于收集训练数据的 GPTBot，其中 238 个（44.5%）同时屏蔽了为 ChatGPT 搜索索引页面的 OAI-SearchBot，另外 297 个仅屏蔽 GPTBot。296 个网站屏蔽至少一个 AI 搜索爬虫却仍允许 Googlebot，包括 facebook、instagram、twitter、amazon 等大型网站，以及多家新闻出版商。大型出版商多出于授权原因有意为之，小型企业则几乎总是无意。此外，约五分之一的允许 AI 爬虫进入的网站仍无可读内容，llms.txt 采用率为 7.5%。

来源：原文链接 (新窗口)

← 返回搜罗吧首页

本页由搜罗吧(Solo8.cn)信息精选服务自动生成，内容仅供参考，不构成任何建议。