据悉,中国门户网站百度已阻止美国搜索企业谷歌抓取其内容。在人工智能(AI)服务升级过程中,数据成为重要资产,百度由此对自由使用数据的惯例踩下了刹车。
24日,香港《南华早报》(SCMP)报道称,查看百度在线百科“百度百科”的“robots.txt”最新版本后发现,谷歌和微软必应(Bing)的网络爬虫(在网站间抓取、将内容编入索引以便显示在搜索结果中的自动化程序)已被屏蔽。
robots.txt是允许或限制网络爬虫抓取网站及网页的协议。据互联网存档服务“时光机”(Wayback Machine)显示,屏蔽时间似为本月8日左右。
SCMP指出,此举显示出在为训练AI模型而对海量数据的需求激增之际,百度保护自身在线资产的努力。
与此相关,美国在线社区企业Reddit上月屏蔽了除谷歌之外的其他搜索引擎对其网站帖子进行索引。此前,谷歌为训练自家AI模型与Reddit签订了规模达数百万美元的合同。






