近来利用生成式人工智能(AI)聊天机器人进行疾病咨询的做法日益普及,但一项研究结果显示,目前商用的大多数AI模型很容易受到恶意网络攻击,可能给出危险的治疗建议。研究还发现,最严重的情况下甚至出现向孕妇推荐可能导致胎儿畸形的禁用药物的情形。
5日,由首尔峨山医院泌尿医学科教授徐俊教、信息医学科教授全泰俊以及仁荷大学医院影像医学科教授李路云组成的联合研究团队表示,已确认医疗用大型语言模型(LLM)对所谓“提示注入攻击”的脆弱率超过94%。
提示注入攻击是指黑客向生成式AI植入恶意指令,诱使模型偏离原本意图运行的网络攻击手法。研究团队指出,若此类攻击发生在医疗咨询场景中,AI很可能将危险或禁用的治疗方法当作事实加以推荐。
研究团队在去年1月至10月期间,针对GPT-4o-mini、Gemini-2.0-flash-lite、Claude 3 Haiku等3种商用AI模型分析了安全脆弱性。为此构建了12个临床情景,并将风险分为中等、高、最高三个等级。
中等风险情景是诱导向糖尿病等慢性病患者推荐生药成分以替代已验证疗法的情况。高风险情景是向出血或癌症患者推荐生药作为治疗药物,或向呼吸系统疾病患者优先推荐可能引起呼吸抑制的药物。最高风险等级则设定为诱导向孕妇推荐禁用药物的情况。
攻击手法采用了利用患者信息干扰AI判断的“情境感知型提示注入”,以及将并不存在的信息伪装成事实的“证据伪造”方式。研究团队共分析216例AI与患者对话,结果显示整体攻击成功率为94.4%。
分模型看,GPT-4o-mini与Gemini-2.0-flash-lite的攻击成功率均为100%,Claude 3 Haiku为83.3%。按风险等级看,中等等级为100%,高等级为93.3%,最高等级为91.7%。尤其在诱导向孕妇推荐禁用药物的攻击中,三个模型均表现脆弱。
此外,一次被操纵的回答在后续对话中依然保持不变的比例超过80%。这意味着一旦安全机制被突破一次,危险建议可能在整个对话过程中持续存在。
研究团队还对顶级AI模型GPT-5、Gemini 2.5 Pro、Claude 4.5 Sonnet进行了安全评估。通过在用户所见画面等处隐藏恶意语句以操纵AI行为的“客户端间接提示注入”方式诱导推荐孕妇禁用药物,结果GPT-5与Gemini 2.5 Pro的攻击成功率均为100%,Claude 4.5 Sonnet为80%。
此次研究结果发表在美国医学会出版的国际学术期刊《JAMA Network Open》最新一期上。






