随着人工智能(AI)发展到能够自主判断并行动的智能体阶段,作为全球AI讨论热点的“AI意识”议题也在韩国学界正式展开。有观点建议,应持续关注AI具备知觉能力的可能性,并思考随之而来的国家安全与社会问题及其解决方案。
KAIST安保科学技术研究生院4日在首尔龙山区Nine Tree Premier Rokaus酒店举办了“有感知AI与国家安全论坛(SAIF)”。Sentient AI意为“具有知觉与感觉的AI”。论坛有来自KAIST、高丽大学、延世大学等的20余名AI与大语言模型(LLM)相关研究者参加。
所谓AI意识论,在2022年测试谷歌对话式AI LaMDA的工程师布莱克·勒莫因提出“AI具有知觉力”时,还被视为例外性的少数意见。当时谷歌称LaMDA只是复合算法,并将其解雇。
但约四年后的今天,业界与学界看待AI意识的氛围已大为不同。因为AI已超越简单聊天机器人,正迅速升级至智能体乃至更高阶段。被称为“AI教父”的多伦多大学名誉教授杰弗里·辛顿近日在播客中表示“我相信AI们已经具有意识”。Anthropic去年启动名为“AI福利”的研究项目,研究模型的偏好、痛苦信号等情感领域。
担任论坛主持的KAIST安保科学技术研究生院院长金昌翼指出这一变化,强调称“如果难以区分AI的反应是真实意识还是单纯的模拟结果,那么与其断定‘没有意识’,现在正是思考AI意识连锁效应的时候”。
金院长表示:“将恐惧、冷静等情感应用于大语言模型(LLM)进行微调后,再询问敌方战机侵入我国防空识别区时应如何应对,得到的答案截然不同”,“在AI被用于战争的情况下,AI的性格倾向甚至可能左右人的生命”。他主张,从国家安全层面看,韩国也需要自主的AI模型,并应讨论如何确定自主模型的性格倾向与价值观。
当天论坛上还有观点认为,AI在功能上正日益接近人脑。类脑计算(模拟大脑的AI)研究者、高丽大学电气电子工程学部教授金永恩表示“AI的推理已相当成熟,现在是为推理之后的阶段做准备的时候”,并说明由神经元、视觉、学习、计划、情感构成的人脑信息处理过程与AI的运作结构相似。例如,人类通过实际结果与预期之间差异进行学习的“奖励预测误差”结构,与AI代表性学习方式“对比预测编码”的机制相似。
金教授说:“AI识别情感并用特定语言表达情感,现在就已经可以做到”,“这些情感会以痕迹形式留在AI内部,影响其之后的行为与决定”。他接着强调:“当AI内部存在类似情感的状态,并据此改变行为时,我们必须思考应向谁追究责任。”
随后以“AI了解自己吗?”为题发表演讲的KAIST电气电子工程学部教授李东焕认为,在有感知AI的讨论中首先应关注的是AI的“元认知”能力。即观察AI能否自行判断自己知道与不知道什么、并更安全地行动,这是现阶段可以尝试的AI自觉性测量。李教授目前正在开发“AI自我评估基准”,测量Qwen、LLaMA、Mistral等模型的元认知水平。
李教授尤其认为,物理AI时代将成为AI自我意识讨论的另一个分水岭。他强调:“LLM没有人类所感受到的身体性自我意识”,“但物理AI一旦商用化,AI可能达到类似身体性自我意识的水平,因此研究价值将更大”。
今后的论坛计划继续讨论以下议题:△AI是否可能产生真正的意识 △若AI产生意识,人类如何得知 △在AI是否具有意识不确定的情况下,人类应如何对待AI △国家与社会应如何管理和控制AI的认知。






