KAIST 3日表示,机械工程系朴容华教授研究团队与S M Company仪器公司共同开发出可实时识别咳嗽声并以图像显示咳嗽者位置的“咳嗽识别摄像机”。
去年年底开始的全球流行性传染病新冠肺炎,近来在美国、中国、欧洲等世界各国呈再次扩散之势,以非接触方式检测传染病的技术需求随之增加。
新冠肺炎的典型症状是发热和咳嗽,目前发热可通过热成像摄像机在不直接接触的情况下轻松判别体温。问题在于,以非接触方式难以轻易掌握咳嗽者的症状。
为解决这一问题,朴教授研究团队开发出可实时识别咳嗽声的基于深度学习的咳嗽识别模型。
研究团队还以与热成像摄像机相同的原理,为实现咳嗽声和咳嗽者的可视化,将咳嗽识别模型应用于声学摄像机,开发出可实时追踪并记录咳嗽声、咳嗽者位置乃至咳嗽次数的“咳嗽识别摄像机”。
研究团队期待咳嗽识别摄像机可用于在人员密集的公共场所检测传染病流行,或作为在医院持续监测患者状态的医疗设备使用。
研究人员为开发咳嗽识别模型,基于卷积神经网络(convolutional neural network,CNN)应用了监督学习(supervised learning)。以1秒长度声学信号的特征(feature)作为输入信号,输出1(咳嗽)或0(其他)的二进制信号,并为优化学习率,设定为当学习率在一定期间停滞时便降低学习率数值。
研究人员为训练和评估咳嗽识别模型,从谷歌和YouTube等正被广泛用于研究的公开语音数据集“Audioset”,以及“DEMAND”、“ETSI”、“TIMIT”等中收集了数据集。其中“Audioset”用于构建训练和评估数据集,其他数据集则作为数据增强(data augmentation)所用的背景噪声,使咳嗽识别模型能够学习各种背景噪声。
为进行数据增强,将背景噪声以15~75%的比例混入“Audioset”后,为适应不同距离,将音量调整为0.25~1.0倍。训练和评估数据集将增强后的数据集按9比1的比例划分构成,测试数据集则使用另在办公室录制的内容。
为优化模型,使用“频谱图(spectrogram)”等5种声学特征和7种优化器(optimizer)进行学习,并测定测试数据集的准确率以确认性能,结果获得了87.4%的测试准确率。
研究人员随后将训练好的咳嗽识别模型应用于由收集声音的麦克风阵列和摄像模块组成的声学摄像机。结果显示,收集到的数据经过计算声源位置的波束形成过程,当咳嗽识别模型判定为咳嗽声时,便会在发出咳嗽声的位置分别显示表示咳嗽声的等高线和标签。
朴教授团队在最后阶段对咳嗽识别摄像机进行了预备测试,结果表明,即便在多种噪声环境下也能区分咳嗽声与其他声音,并可实时追踪咳嗽者及其位置、次数等,证实了现场应用的可能性。研究团队期待,今后若在医院等实际使用环境中进行追加学习,准确率将高于87.4%。
朴容华教授表示:“在新冠肺炎持续传播的情况下,若在公共场所和人员密集设施中运用咳嗽识别摄像机,将对传染病的防疫和早期发现大有帮助”,“特别是若应用于病房,可24小时记录患者状态并用于治疗,从而减轻医护人员负担,更精确地掌握患者状态。”
/大田=朴喜润记者 hypark@sedaily.com






