2026-07-03 | 김태영 기자

“扫一遍仅需1秒”…面对隐藏身份的AI机器人“擅自爬取”束手无策

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

隐藏身份的人工智能(AI)机器人(bot,自动化软件程序)伪装成Saramin进入网站抓取数据,却缺乏有效的过滤手段,令相关企业和机构头疼不已。像ChatGPT、Claude那样带有“名牌”的机器人,运营者在不希望其访问时可以有选择地拦截,但来源不明的“非识别爬取(数据采集)”连判断是人还是机器人本身都很困难。特别是以中国为发信地的非识别流量急增,怀疑中国机器人爬取的声音日渐增多。

据互联网基础设施企业Cloudflare 2日数据,从上月25日至当日的一周内,全球互联网流量中机器人占比为57.1%,超过人类(42.9%)。随着运行聊天机器人所需的各类机器人活跃活动,机器人留下的足迹比人更多。这一反超在Cloudflare统计中于上月初首次出现后一直延续。以上月为准,机器人活动目的依次为训练(47.2%)、训练与检索并行(39%)、检索(10.4%),其他目的占3.4%。产生AI训练用流量最多的是Claude,其后是Meta和ChatGPT。

问题在于,这类身份和目的明确的流量并非全部。目前活动的机器人大多用于抓取网站数据以训练AI模型或检索最新信息。但网站运营者并非欢迎所有爬取。很多情况下他们不愿自家数据被用于改善外部AI性能,且爬取导致流量增加也会加重服务器维护负担。因此大型科技公司为自家机器人取了“GPT Bot”“Claude Bot”“Bytespider Bot”等名称,以便运营者过滤不希望的爬取。

非识别机器人则不同。顾名思义,它不表明身份,运营者难以精准拦截。全球安全企业泰雷兹在报告中指出,可识别的AI流量只是冰山一角,由于隐藏身份的流量,企业所能探测的范围与实际发生的自动化之间正出现落差。这意味着,即便隐藏AI代理身份、伪装成Saramin进入并抓取数据,甚至用于模型训练,现有体系也难以阻止。

来自中国的非识别流量正是这种担忧的直接体现。本报英文网站的中国访问量从5月最后一周的19688次增至6月第三周的37266次,增幅89.2%。表面看似中国读者增加,实则不然。用亚马逊云科技(AWS)的网络防火墙“WAF”分析结果显示,6月24日至29日中国流量的82.2%来自Chrome单一版本“Chrome/142”。平均停留时间仅3秒,94.5%立即跳出,与韩国(156秒,跳出率47.4%)或美国(96秒,55.1%)呈现明显不同的模式。综合TLS指纹分析(分析浏览器留下的模式的技术)等,估计来自中国的流量约90%出自非识别机器人。

在Reddit等IT社区,涉及中国流量激增的帖子也大量涌现。运营者和开发者表示“看来是中国机器人在擅自抓取数据”“应纠正未经同意的AI训练用采集”,并分享将非识别流量判定为机器人的标准或屏蔽特定国家访问等应对方法。眼下各企业和运营者切断特定国家访问,或使用Cloudflare等安全企业的AI爬虫拦截方案,只是权宜之计。但这并非根本应对。祥明大学内容著作权学系教授金仁哲表示:“即便是可识别机器人进行的AI训练也常常陷入著作权诉讼,合法性判断也呈现因案件和国家而异的趋势”,“就现状而言,通过制度解决非识别流量和爬取问题确实不易”。

尽管如此,仍有声音认为至少在实态掌握方面政府应出面、企业应共同应对。因为非识别流量若实际演变为擅自爬取,提供数据的企业损失巨大。一位信息技术(IT)业界人士称:“擅自爬取还牵涉数据主权,但连显示国内网站整体非识别流量规模的统计都没有”,“需要政府新设申报窗口等应对措施”。Bluedot AI代表李成奎建议:“包括媒体在内的国内内容企业中,对爬取认识不足的地方很多”,“正如英国媒体为应对AI企业的新闻训练而成立名为SPUR的协议体,业界应共同展开技术和政策层面的应对”。

阅读韩文原文