韩文是世界上最优秀的文字,但在人工智能(AI)世界里仍未得到应有的待遇。开启生成式AI大门的“ChatGPT-3”所学习的数据中,92%是英语,韩文资料仅占0.1%。学习量如此之少,因此使用韩语时即便做同样的事,性能也会下降。这也是非英语圈的共同现象。因此甚至有研究专门测量生成式AI在各国语言下给出的回答与使用英语时有多大差异。差距并不小。欧洲语言情况稍好,但韩语与日语一同显示出巨大差距。
让AI熟练使用韩文的方法大致有两种。一是自己动手做,即开发韩语AI,或将海外AI模型针对韩语进行调优(调整)。这类努力对提升AI竞争力大有帮助。因此其他国家也在推进类似政策。荷兰政府从今年开始开发名为“GPT-NL”的本国语言AI模型,特点是与韩国不同,由政府亲自出面推动。不过开发本国语言AI必须承受技术差距。荷兰政府预计明年完成的本国模型水平约相当于“GPT-3.5”,与最新模型有3年的技术差距。
第二种方法是引导海外AI模型提升韩语能力。若提供韩语学习所必需的海量韩文数据和性能测量方法,许多AI模型便能增加韩文资料的学习量、提高韩语性能。当然,是否连OpenAI这类收费AI服务也要支持还需进一步考量,但至少对于在韩国也被大量使用的开源AI模型,有必要支持其提高韩语水平。
英语与韩语之间的语言壁垒降低,韩语用户的选择面就会相应扩大。同时,这对利用开源模型开发AI服务的国内初创企业也大有帮助。近来中国AI模型的韩语水平提高,令许多初创企业陷入苦恼。从韩语性能看很想使用,但可信度低而犹豫不决。若提供可信赖的韩文数据,使各类国内外开源模型提升韩语能力,将大大有助于增强我国初创企业的竞争力。
前天是韩文日。世宗大王创制韩文的理由是让百姓易于学习、便于日常使用。如今,让AI轻松学会并使用韩文,成为延续韩文精神的途径。不过,在支持海外AI的韩语能力时,也需特别注意不要让我国企业的韩语AI丧失竞争优势。这方面同样需要政府与企业的紧密合作。






