2018-11-17 | 신다은 기자

AI做了“2019年高考”题……英语12分、数学16分

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

有人说,人工智能(AI)不久就会赶上人类。也有主张认为,由于AI具备海量数据,今后像大学修学能力考试这样的国家考试将不再必要。如果AI真的挑战修能,会是什么结果?

Seoul Economic Daily以11月15日举行的2019学年度修能的数学和英语科目为对象,在韩国首次尝试了"AI解题"。美国、日本和中国当地的AI企业已经在尝试解答大学入学考试题目。遗憾的是,韩国国内没有能解修能题的AI,不得不借助海外AI之力。英语交给了美国艾伦AI研究所开发的AllenNLP,数学则交给物理学家斯蒂芬·沃尔弗拉姆打造的计算AI"Wolfram Alpha"。

理解句子内容的能力接近0

数学公式也无法自主代入

尽管所解科目不同,两个AI却有相似之处。首先,艾伦是"阅读理解型AI(MRC·Machine Reading Comprehension)",能够基于数千万句子的数据回答寻找主题等简单问题。但理解文章内容或推断前后逻辑的能力接近"0(零)"。若把贵重物品由"valuable"换成"jewelry"来提问,它便答不出来;被要求指出要点时,它甚至给提示文中所有句子都划了线。

特别是英语科目第10题,面对"选出提示文正确主题"的提问,它突然给出的不是答案,而是"亲爱的(honey)"这一昵称。原因很简单:通常总起式提示文会把重要关键词放在第一句,而第10题是听力题,女性在对话开头称呼男性为"亲爱的"。当天艾伦在英语科目的得分为100分满分中的12分。

数学也类似。沃尔弗拉姆能迅速解出复杂的工科数学题,但无法像人一样调动多个公式自主解决问题。沃尔弗拉姆在数学"乙"型30道题中答对5道,得16分。越是论述型题目,推理能力越弱,整个计算过程都需要使用者自行设计并下达指令。例如为解正态分布题,使用者要逐条向AI输入"连续型随机变量的图形面积为1"这样的命题。像这样重新输入若干知识后再解,成绩提高到29分。当然,这一分数远不及考生平均分(51分·以去年修能为准),解题速度也比人运用思维能力解答慢一倍。

两个AI属于现存解题技术中的最高水平,但对稍微超出预期的题目就显得脆弱。要让AI像人类一样推理,必须输入海量数据构建神经网络(知识图谱)。这意味着目前停留在简单问答层面的AI,仍多于能像人类一样思考的AI。

中美日尝试AI应考国家考试

"不赚钱",韩国研究为零

问题在于,韩国的AI技术实力相比其他国家尤其落后。中国的AI MATH、日本的Todai、美国的Geos在过去10年已构建神经网络,与国家考试"正面交锋"。相反,韩国构建神经网络并在实验中的AI只有Exobrain一个,而且它也只专注于眼下能赚钱的金融市场。这一点可以窥见韩国忽视基础科学研究的现实。开发Exobrain的Saltlux一位相关人士表示:"由于政府对基础研究的支持薄弱,科学界很难只专注于纯粹研究","海外正热衷于构建神经网络,而我国连技术实现都做不到,令人遗憾。"

阅读韩文原文