让主要生成式人工智能(AI)解答高三考生上月参加的全国联合学力评价(学评)试题后发现,各模型成绩差距巨大,从“可报考首尔顶尖大学”水平到“中下游”不等。面对同一份试卷,平均分差距接近两倍,尤其在需要把握上下文的基础题目上还出现了意外错答。
31日,钟路学院将3月学评的国语、数学、英语试题输入主要生成式AI模型并按原始分数评分,结果平均分依次为Gemini(87.8分)、ChatGPT(59.5分)、Perplexity(43.7分)。
将分数换算为等级后,Gemini在国语和数学取得1等级、英语2等级水平,被评价为可报考首尔大学、延世大学、高丽大学等所谓“SKY”的成绩。相反,ChatGPT整体停留在4等级区间,Perplexity在数学上更跌至6至8等级,模型间性能差距十分明显。本次测试使用了各模型的付费订阅版本。
从各科所需时间看,国语和英语大多在数分钟内完成解答,数学耗时相对较长。Gemini约40分钟,ChatGPT为30分钟,Perplexity约1小时。
差距最大的科目是数学。Perplexity在概率与统计仅19分、微积分13分、几何13分,而Gemini分别取得92分、91分、89分,正确率占据压倒性优势。ChatGPT各选考科目也停留在40至50分区间,仅为中游成绩。钟路学院方面分析称:“在需要解读复杂条件或设计分步解题过程的题目上,模型间的技术差距表现得非常明显。”
国语方面,分数也依阅读理解能力而分化。Gemini在话法与作文取得84分、语言与媒体85分,维持1等级水平,其余模型仅为40至60分区间,表现吃力。尤其在阅读与文学等需要综合判断多重信息的非文学文本上,三个模型的正确率均出现下降。
在正确率超过90%的简单题目上也出现错答。语言与媒体第43题(与智慧农场数据相关)是依据对话脉络找出问题点的基础题,但部分模型未能把握信息之间的关联而答错。钟路学院代表林成浩表示:“该题只是初中三年级水平的普通题目,AI却答错,是因为缺乏将所给信息有机联系起来的能力。”
在语言门槛相对较低的英语上,三个模型都表现稳定。Perplexity以98分最高,其后是ChatGPT(96分)、Gemini(86分)。不过在填空推理或间接写作等需要高度逻辑推理的题目上,它们共同暴露出弱点。
光州教育大学名誉教授朴南基强调:“即便AI学习了海量数据,最终要实现精细的分析与判断,仍需以人的基础知识和读写能力为前提”,“正如一无所知就连正确的提问都提不出来,在教育现场培养基本概念和思考力的基础学习依然最为重要。”






