打造人工智能(AI)聊天机器人“ChatGPT”的初创公司“OpenAI”推出了检测AI撰写文本的工具。但其识别成功率和准确度都不高。
总部位于美国加州旧金山的OpenAI于上月31日(当地时间)在官网公开该工具,并说明了发布前进行的自我评估结果。评估所用文本均为英文,既包括人类或ChatGPT生成的内容,也包括其他聊天机器人生成的内容。该工具在AI撰写的文本中仅有26%被判定为“很可能由AI撰写”。
将实际由人撰写的文章误判为AI撰写的“假阳性”(false positive)比例也高达9%。在英文不足1000字的短文本中,判定的可信度尤其低。不过,随着输入文本长度增加,可信度有提高趋势。此外,新检测器在辨别近期AI系统生成文本的能力上,优于2∼3年前通过GitHub向开发者发布的旧版本“GPT-2输出检测器”。
OpenAI决定向公众发布此类工具,是因为有人指出去年11月底向公众公开的ChatGPT存在被滥用于诈骗、发送垃圾信息、抄袭等的隐忧。该公司特别考虑到教育现场使用ChatGPT的情形,在官网刊登了面向教育者的建议。
不过OpenAI承认:“我们的分类器并非完全可靠”,并称这是“正在进行中的工作”。同时说明,虽然不可能检测出所有AI撰写的文本,但教育者或雇主等可将其作为辨别文本来源的辅助手段。
该公司还指出,对于只有唯一明确答案的内容,无法辨别其是人撰写还是AI撰写。此外还说明,计算机代码也难以判定是人编写还是AI编写。
而且,通过修改AI已撰写的文本也可以规避检测器。当然检测器可以更新,但从长期看,检测方与规避检测方哪一方更有利并不明确。
ChatGPT因具备就任何主题在几秒或几十秒内生成看似由人撰写的文章的能力而引发热议。
微软已在2019年和2019年对OpenAI进行投资,并正在积极研究今后的追加投资。此外还公布了将OpenAI技术应用于微软多款产品的计划。
ChatGPT公开后,学校方面出现了学生可能用ChatGPT完成作业等的担忧。去年12月,ChatGPT在美国医师执照笔试的三个部分中均取得合格分数。






