2023-10-18 | 이덕연 기자

Lawtalk“BigCase GPT”律师考试正确率53.3%

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

“Lawtalk”运营商Law&Company利用美国OpenAI的人工智能(AI)GPT-4 API打造的AI系统“BigCase GPT”,在韩国律师考试中客观题正确率达53.3%。Law&Company今后将对BigCase GPT进行升级,推出协助律师业务的服务。

据Law&Company 18日介绍,BigCase GPT在今年1月举行的第12届韩国律师考试选择型(客观题)150道题中答对80道,正确率为53.3%。BigCase GPT在公法40道题中答对19道(正确率47.5%),民事法70道题中答对40道(57.1%),刑事法40道题中答对21道(52.5%)。本次实验不包括撰写“案例型”和“记录型”等论述题答案并接受评分。

BigCase GPT的表现优于专长于英语及美国法令、判例的OpenAI GPT-3.5和GPT-4。在Law&Company今年3月以与BigCase GPT相同条件进行的实验中,GPT-3.5正确率为28.7%,GPT-4为34.0%。OpenAI推出的最新语言模型GPT-4在学习、认知、逻辑、推理、论述能力上十分出色,能以前10%的成绩通过美国律师考试,但在韩国语言、法令、判例方面,BigCase GPT取得了更优的成绩。不过,即便是BigCase GPT取得的53.3%客观题正确率,估计仍低于实际律师考试合格所需的正确率。

Law&Company利用GPT-4 API,通过让其学习韩国法令、判例等方式打造了BigCase GPT。其法律信息平台服务“BigCase”所拥有的14万5000件法令、7000件决定例、7000件有权解释等约16万件法律信息被投入使用。此外,Law&Company将被视为生成式AI(Generative AI)最大弱点的“幻觉(hallucination,信息失真现象)”控制到接近“零”,提升了数据可信度。BigCase GPT的开发过程中运用了检索增强生成技术(RAG)以及自主设计的提示工程等。

Law&Company今后计划在BigCase GPT上实验并应用GPT-4等多种大语言模型(LLM)。公司还规划自主开发针对法律信息优化的语言模型,以升级该系统。并计划以此在明年上半年推出面向律师的SaaS(软件即服务)“Super Lawyer”。目标是像今年6月汤森路透以6.5亿美元(韩华集团约8450亿韩元)收购的Casetext旗下“Cocounsel”服务那样,提供△生成法律备忘录△法律文书摘要△法律问答等功能,提升法律从业者的工作效率。

Law&Company代表金本焕表示:“将作为针对韩语和韩国法律优化的语言模型开发的Super Lawyer,会像帮助律师的‘AI法律秘书’一样运行,发挥最大化律师工作效率的作用”,“我们希望以自有的法律AI研究所为核心,专注推出提升律师业绩的服务,帮助更多律师改善工作环境。”

阅读韩文原文