2026-03-16 | 안경진 의료전문기자

“人工关节手术成功率多少?”问ChatGPT…医生也吃惊[健康时间]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

“人工关节手术成功率有多高?”向ChatGPT提问后……

有研究结果显示,就膝关节人工关节置换手术向OpenAI的ChatGPT、谷歌的Gemini等人工智能(AI)聊天机器人提问后,其给出的答复水平与骨科专科医生相近。翰林大学东滩圣心医院骨科教授宋时映研究团队16日表示,对提供膝关节人工关节手术相关信息的5种基于大语言模型(LLM)的AI聊天机器人性能进行比较分析后确认,其医学信息准确度较高,可作为辅助患者教育和诊室咨询的工具加以利用。

研究团队根据谷歌搜索趋势和骨科专科医生的建议,选定了患者在膝关节人工关节手术前后常问的43个问题。具体包括膝关节人工关节手术需要多长时间、成功率有多高、术后需要注意哪些事项等多种问题。研究团队将43个问题划分为△手术概要与过程△手术适应症与结果△副作用与并发症△疼痛与恢复过程△术后可进行的活动△手术替代方案与改良术式等6个领域,随后向GPT-3.5、GPT-4、GPT-4 Omni、Gemini Advanced、Gemini 1.5等5种AI聊天机器人提出相同问题。之后请2名专门从事膝关节人工关节手术的骨科专科医生,以5分李克特量表对答复的准确度和与问题的契合度进行评价。为最大限度减少评价者偏差,评分在不知道哪个AI聊天机器人给出哪条答复的情况下进行。

分析结果显示,GPT-3.5、GPT-4、GPT-4 Omni、Gemini 1.5对全部问题的平均准确度在4.8分以上,与问题的相关性也被评为100.0%。相反,Gemini Advanced的总体平均准确度为4.07分,相关性为83.7%,成绩低于其他聊天机器人,且在部分问题上以“请咨询专科医生”的提示代替回答。对此研究团队解读称:“这种倾向可能受到了避免错误信息的安全机制影响”,“将AI聊天机器人用作患者教育工具时,信息量和具体性可能受到限制”。

尤其在询问手术适应症与手术结果、人工关节手术替代方案与改良术式的问题上,各聊天机器人之间差异较大。GPT-3.5、GPT-4、GPT-4 Omni、Gemini 1.5在该领域均获得接近满分5分的高分,而Gemini Advanced的得分在统计学上显著偏低。研究团队解释称,由于AI聊天机器人的答复是以2024年8月这一时点进行评价的,后续版本的性能可能会出现差异。

宋教授强调:“通过此次研究,确认了AI聊天机器人作为补充医生说明的患者教育工具的潜在实用性”,“为提高临床应用可能性,应持续改进AI模型”。

此次研究由韩国科学技术情报通信部出资、获韩国研究财团(优秀新进研究)支持完成,并刊载于《骨科运动医学杂志(Orthopaedic Journal of Sports Medicine)》最新一期。

阅读韩文原文