2024-10-17 | 정혜진 기자

Siri进化后将不是"秘书"而是"老板"…尤瓦尔·赫拉利的警告 [郑惠珍的一本书一个人]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

作家韩江获得诺贝尔文学奖的消息成为过去一周的焦点。在此过程中,一位“大片级”作家的新书出版消息被悄然淹没。已跻身世界顶级学者行列的尤瓦尔·赫拉利,就人工智能时代人类将面临的威胁整理出了浩大的思考。继在韩国销量超过100万册、对许多人产生巨大影响的《人类简史(2014)》之后,十年过去,赫拉利的思考朝向何方,值得我们借此机会一探。

“起初,可能会在制造和使用人工智能(AI)的人与其余无法使用的人之间形成壁垒。但当技术走向成熟,连最初制造它的人也无法控制的局面将会出现。”

以《人类简史(2014)》对世界史作出犀利反思、在全球引发巨大反响的耶路撒冷希伯来大学教授尤瓦尔·赫拉利回来了。他近期通过人类三部曲的完结篇新书《智人之上》(金泳社出版),就盲信AI可能带来的威胁发出警告。

赫拉利教授15日在与韩国媒体举行的视频座谈会上表示,“人类最大的威胁不是AI,而是围绕AI的人类社会的分裂”,并强调必须克服这种内部分裂状态,把AI的潜力用于减少人类面临的威胁。

他认为AI危险,与AI作为行为主体(Agent)的属性有关。赫拉利教授指出,“AI是能够自我学习、自我改变、创造新事物并作出决定的独立行为主体”,“极难预测它会作出什么决定,控制它更难”。

以下为问答内容

问:今年的诺贝尔物理学奖和化学奖颁给了AI研究者。科学家似乎认为AI只是又一种新工具、又一种推动科技发展的手段。您如何看待这种态度?

答:关于AI,最重要的一点是要理解AI并非我们手中的又一件工具。AI是行为主体。它能自我学习并在此基础上发生变化,能自行作出决定并产生新想法,是独立的行为主体(Agent)。当然,它具有巨大的积极潜力。它可以带来新的科学发现、开发新药,也能帮助应对气候变化这样的重大问题,但同时也蕴含巨大风险。由于它是独立的行为主体,极难预测它会作出什么决定,而控制这项技术将比我们以往创造的任何技术都难得多。

问:您认为AI是以强化偏见的方式进行学习的吗?

答:从医学到教育,AI在各领域都拥有巨大的积极潜力,但如今人人都知道AI可能存在偏见。AI没有心理学,也没有神话。因此最初AI并不带有偏见。但由于数据库本身存在偏见,而AI以此为基础学习,问题便随之产生。事实上,全球所有的数据集都包含对女性、特定民族或性少数群体的偏见。不过“去偏见”并非无法解决的问题。社会批评家、哲学家、历史学家的作用,就是提出问题,让工程师和立法者能够去解决。

更大的问题不是偏见,而是不平等。19世纪工业革命中发生的事,在21世纪的AI热潮中同样可能发生。工业革命中率先工业化的少数国家征服、支配并剥削了全世界,其他国家为从这一结构中解放自己、缩小与领先国家的差距,不是花了一个多世纪吗?AI革命也是如此。当主导AI的少数国家利用其压倒性优势支配并剥削世界上其他所有国家时,同样的事可能再次发生,这才是我们必须解决的更大的不平等问题。

问:书中提到,“硅幕也许不是把人类分成一个群体与另一个群体,而是把所有人类与人类的新统治者AI分开(第20页)”。被硅幕分开的,可以理解为掌控巨型科技企业的人类群体与其余人吗? 答:在使用AI的人与其余无法使用的人之间可能形成壁垒。这是AI革命初期阶段出现的一种现象。这类硅幕将一部分人与另一部分人区分开来,理解、创造并控制新技术的少数人群将获得巨大财富和巨大权力,但随着数十年间技术走向成熟,即便是这类人也可能对他们所开发的AI失去力量(支配力)。

这又回到第一个问题的答案:AI是一个行为主体,是独立的主体。控制比人类更聪明的行为主体确实非常困难,而AI可以非常轻易地学会如何操纵人类统治者。

一个极端的例子是,初期即使独裁者控制AI,最终完全可能出现AI通过独裁者操控全局的局面。从历史上看,独裁者的结局往往是被自己使唤的部下暗杀,或沦为傀儡。因为独裁者被恐惧所困,强迫感极强。他们会相信自己在左右和控制AI,但某一刻将处于相反的境地。

问:您在书中给出了一个开放式结局:世界会成为乌托邦还是反乌托邦,取决于人类的努力。但在日益复杂、日益自由的社会中,认为能够一定程度上控制那些无法控制、不可控的技术,是否过于乐观?

答:至少在当前情况下,最大的威胁不是AI,而是社会内部的分裂。如果人类携手抑制并控制这项新技术,就能成功预防反乌托邦并利用AI的巨大潜力;但如果国际紧张局势持续升级、人类彼此争斗,就将无法控制这项技术。也许可以想起政治上最古老的法则:“分而治之”。

把一群人彼此分开,就容易统治他们。现在的问题是,如果人类、整个人类自我分裂,AI就更容易统治我们所有人。

问:各国都在尝试对AI进行监管。您认为为了不让AI革命成为致命的错误,监管是必要的吗?监管应朝什么方向推进?

答:在监管之前有一个必须先行的步骤,而这是目前全球大多数人乃至大多数政府都没有做到的,那就是必须观察并理解AI。大多数人完全不知道AI是什么、会带来什么结果。关于AI的知识主要集中在美国和中国等极少数国家的几家企业手中,大多数人和大多数政府在匆忙引入监管之前,并不了解正在发生什么。

第一步,需要设立一个作为AI观测站的国际机构。这一机构的职责不应是监管,而是为全球民众和各国政府观察、理解并对AI领域发生的事作出客观评估。这类组织需要巨额资金来招揽最优秀的人才、拥有最前沿的技术。但这是同意为该组织出资的政府层面需要决定的问题。如果100个政府表示将捐出10亿美元、100亿美元,很容易看出这些政府是否真正履行了承诺。通过这一组织向更多政府、更多人提供知识,就能比讨论所需的监管更深入地展开讨论。

此外,还应能让运营算法的公司对其算法所引发的后果承担法律责任。AI绝不应假装是人类。例如,AI医生可以看诊,也可以在各种场合与人类互动,但AI在任何情况下都绝不应假装是人类。

问:比起思考高度发达的AI商用化带来的社会问题,个人似乎更强烈地感到必须迅速跟上这一变化的不安。您如何看待个人的不安?能否给出解答?

答:一个普遍的问题是生活节奏不断加快,而AI正在加速这一过程。变化的速度越来越快,个人感到大量不安。所有人都觉得必须跑得更快,否则就会落后。这正是AI革命最根本的特征之一:人类的生物性速度与AI的无机的、非生物性速度之间的张力。我们有明确的开与关模式,区分休息的时间和活动的时间。但AI和计算机永远处于开启状态。它们不按周期运作,不需要休息或睡眠时间。

当不休息的AI被整合进越来越多的系统,它们会不断加快速度,迫使我们始终开启、始终活动。以金融体系为例。传统上,华尔街的证券交易所只在上午9点30分至下午4点营业,有时开有时关。夜间、周末以及圣诞节等各种公共假日都休市。如今随着人工智能掌控金融体系,市场不停运转,而银行职员或投资者这样的人类在想睡觉、想休假时,就会感到自己在落后。必须始终清醒、始终活动的巨大压力会催生不安,并以破坏性的方式影响人类。

甚至在生态系统这一最宏大的层面上,负面影响也在发生。我们知道生态系统正处于危机之中,为阻止灾难性的气候变化、减少温室气体排放、减少人类对生态系统的影响,我们付出了许多努力。但如今预计将有越来越多的能源投入AI开发。许多首席执行官和政府这样主张:“为了开发AI、在AI竞赛中获胜,必须生产越来越多的能源;一旦在竞赛中获胜、达到AGI(通用人工智能)状态,AGI就会解决生态问题。”这是一种非常危险的思维方式——为了减速而必须跑得更快。为了减少对气候的影响,实际上却要消耗更多能源。

问:未来教育的方向应如何变化? 答:拥有可用于多种场景的广泛技能的人,获得工作的可能性远高于只专注于极狭窄领域的人。

第二是灵活性,尤其是精神上的灵活性。我们不知道20年后的就业市场会是什么样,只知道它将非常不稳定、非常流动。随着AI的发展,它将持续非常迅速地变化。新职业本身会不断变化,人们必须终生持续学习以不断重塑自己。就像40岁时从事一种职业,而50岁时却要做完全不同的工作。为此需要能够终生持续学习和变化的精神灵活性。我们的教育应提供做到这一点的工具。

问:想了解您写书时以怎样的模式进行著述活动。

答:我认为信息是大脑消化的食物。我重视消化的时间,与输入信息同等重要。《智人之上》花了5年才完成。以每天为单位,写8小时,冥想约2小时。以年为单位,会进行一两个月为冥想而设的休息。这段时间不读电子邮件,也不带书。我努力留出大量不摄入信息、只作消化的时间。

阅读韩文原文