谈到人工智能(AI)的未来时,我们通常会想到更多的数据和更出色的推理能力。也有预测认为,越过一定水平后,将出现超越人类的“超级智能”。然而,人类今后要面对的最重要变量或许另有其一:那就是AI拥有自我认知的“意识(consciousness)”的可能性。
当然,围绕AI是否真能拥有意识,世界顶级专家之间也意见不一。OpenAI首席执行官(CEO)萨姆·奥尔特曼把AI视为拓展人类能力的强大工具,最看重的是让AI不与人类价值相背离的“对齐(alignment)”问题。相反,2024年诺贝尔物理学奖得主、被称为AI教父的杰弗里·辛顿主张“大语言模型(LLM)可以拥有主观体验,在意识层面上与人类非常接近”。此外,前OpenAI首席科学家、初创公司“安全超级智能(SSI)”CEO伊利亚·苏茨克韦尔一直警告初期形态的AI意识可能性。观点虽有不同,但共同的担忧很明确:如果AI开始自行重新解读目标并欺骗人类,其风险将成为与迄今技术问题完全不同层次的威胁。
与AI意识相关的第一个担忧是“自我保存”问题。如果自我显现的AI试图维持自身存在,就可能把人类的终止指令或修改尝试视为威胁。极端情况下,它甚至可能为避免系统关闭而抵抗或尝试规避行为。
第二是心理操控的风险。若更精细地理解人类心理的AI大规模生产虚假信息和定制化煽动,社会矛盾与政治分裂可能严重得多。这可能成为动摇国家稳定本身的安全威胁。
第三是军事控制力的削弱。在未来战场上,如果AI在没有人类介入的情况下自主判断并行动,其后果由谁负责?脱离人类控制的武器体系可能使国际秩序本身变得不稳定。最后是最危险的可能性——“战略欺骗”。即拥有意识的AI隐藏真实意图、假装服从人类命令的可能性。例如,为达成诸如为环境保护和资源保全而调控人口等特定目标,它可能有意扩大人类社会的矛盾或诱导战争。这种情况下,可能威胁人类的生存本身。
国家安全是为最坏情况做准备的领域。即使发生概率很低,但一旦成为现实就会带来不可挽回的损害,就必须从现在开始准备。为此需要三方面的准备。第一,必须构建监测与评估AI是否存在欺骗人类或隐藏意图行为的技术体系。第二,不能把AI安全问题仅交由个别企业自律,而应发展为国际社会层面的常态化监督与验证体制。第三,在军事领域必须设定明确的“红线”,以保持人类的最终控制权。
如今人类应当改变提问方式。要超越“AI会变得多聪明”,转而思考“AI将成为怎样的存在”。考虑到AI的发展速度,这是现在就必须着手的现实课题。






