Hancom(030520)18日表示,已将可解决人工智能(AI)学习与应用过程中被视为难题的PDF文档数据处理瓶颈的核心技术,全面公开为全球开源。
此次公开的“OpenDataLoader PDF”是Hancom基于长期积累的文档处理技术实力开发的PDF数据提取引擎。预计将有助于为全球AI生态系统的扩散奠定基础。
近期,AI初创企业“Hugging Face”公开了基于PDF文档、规模约4.75亿件的数据集“FinePDFs”。由此,希望利用该数据集的企业也开始正式行动。PDF是全球AI学习中使用最广泛的文档格式,但因其内部结构复杂,学习用数据的提取并不容易。
此次开源项目是Hancom为解决这一问题,于7月与PDF技术专业企业“Dual Lab”签署业务合作协议(MOU)后的首个成果。双方共同开发基于开源的PDF数据加载器,目标是扩大AI生态系统。
OpenDataLoader PDF能以高准确度和快速性能提取PDF文档中的文本、表格、图像和版式信息,并将其转换为可立即用于AI学习的结构化数据。
尤其是其性能已被证明优于现有竞争性开源技术。根据官方主页公开的基准测试结果,在衡量人类阅读顺序的指标“NID”上,相较其他技术录得高达85%的数值。此外,在金融、公共机构等处理敏感数据的环境中,也可在无网络连接的情况下完全离线运行,从根本上阻断了数据泄露和外部上传导致的信息暴露风险。这种基于离线的安全性,预计将成为企业和机构层面应用的重要技术优势。
同时,它也针对近期成为AI产业主要议题的学习数据安全性问题进行了优化。OpenDataLoader PDF计划额外提供自动检测并阻断通过恶意内容插入造成的安全威胁的功能,从而同时保障AI学习数据的稳定性与可信度。
Hancom此次开源公开并不止于单纯的技术共享,而是在推动整个AI生态系统的开源扩散与技术升级。为此,计划强化与ChatGPT、Gemini、LangChain等主要AI框架的联动与兼容性,并通过“GitHub”持续与全球开发者社区合作。
Hancom首席技术官(CTO)郑智焕表示:“在AI转型(AX)时代,开源已不再是选择,而是企业与整个社会实现创新、确保竞争力的必备战略”,“希望通过此次公开OpenDataLoader PDF核心技术获得全球开发者的认可,并通过合作将PDF数据提取技术再向前推进一步,完成全球最高水平的AI数据提取技术。”他还补充说:“年底将追加基于AI的文档识别技术等,持续提升该开源项目的水平。”






