KAIST于25日表示,其人工智能(AI)研究生院崔在植教授研究团队开发出深度学习生成模型的错误修复技术。
近来,深度学习生成模型(Deep Generative Models)被广泛用于生成图像、语音乃至文本等新内容。尽管生成模型不断进步,但最新开发的生成模型仍常常产出带有缺陷的结果,因此在国防、医疗、制造等重要工作及学习中应用生成模型仍存在困难。
崔教授研究团队利用解析深度学习内部的可解释人工智能方法,设计出在生成模型内部寻找并移除在图像生成过程中引发问题的单元(神经元)的算法,从而修复了生成模型的错误。
这种生成错误修复技术不需要对神经网络模型重新训练,且对模型结构的依赖性较小,预计可广泛应用于各种对抗生成神经网络。此外,所设计的技术有望提升深度学习生成模型的可信度,使生成模型也能应用于重要工作。
本次研究由KAIST人工智能研究生院的阿里·图西(Ali Tousi)、郑海东研究员共同担任第一作者,并于6月23日在“国际计算机视觉与模式识别学术大会(IEEE Conference on Computer Vision and Pattern Recognition, CVPR)”上发表。
对抗生成神经网络是利用生成器与判别器之间对抗关系的模型,因生成图像质量高、多样性强,不仅在图像生成领域,在时间序列数据生成等多个领域也备受关注。
为提升深度学习生成模型的性能,围绕对抗生成方法及生成器的新结构设计或学习策略细化等研究正在积极展开。然而,最新的对抗生成神经网络模型仍会生成含有视觉缺陷的图像,而通过重新训练来解决这一问题无法保证错误得到修复,还需耗费大量训练时间和成本。为解决规模庞大的最新对抗生成神经网络模型的部分错误而对整个模型重新训练并不合适。
为解决该问题,研究团队开发了寻找并移除深度学习内部诱发生成错误的单元(神经元)的算法。该算法能够定位深度学习模型视觉缺陷的位置,找出存在于模型多个层级中引发错误的单元并使其无法激活,从而避免缺陷产生。
研究团队利用可解释人工智能技术,得以找出视觉缺陷分布在生成图像的哪一部分,以及深度学习内部哪些单元参与了缺陷的生成。所开发的技术可修复深度学习生成模型的错误,并且不受生成模型结构限制即可应用。
研究团队确认,在具有传统结构的“渐进式生成模型(Progressive GAN·PGGAN)”中,该技术能够有效修复生成错误。在修复性能方面,与麻省理工学院(MIT)拥有的修复技术相比,FID分数下降约10分;在用户评价中,测试图像组约50%的缺陷被消除,约90%的图像质量得到改善。
此外,研究团队还证明在具有特殊结构的“StyleGAN2”和“U-net GAN”中同样可以修复生成错误,展示了该技术的通用性与可扩展性。
研究团队开发的生成模型错误消除技术,预计除可应用于各类图像外,还可应用于各种生成模型,提升模型产出结果的可信度。
共同第一作者阿里·图西与郑海东研究员表示:“我们证明了通过找出深度学习生成模型所生成结果中的视觉错误,并依次移除表现出相应激活的生成模型内部单元,可以修复生成错误。”并称“这一结果显示,在已充分训练的模型内部仍存在未训练或错误训练的内部要素。”






