近期,西南林业大学大数据与智能工程学院教师强振平教授团队在刊物《IEEE Journal of Selected Topics in Signal Processing》发表题为《Face Image Completion Method Based on Parsing Features Maps》的学术论文,论文介绍了利用深度学习实现人脸图像补全方面的进展。
西南林业大学为第一完成单位,2020级硕士研究生苏世琪为第一作者,强振平教授为通讯作者。
人脸图像补全是图像修复的一个特定领域,它可以应用于许多与人脸相关的实际应用中,对其进行研究具有重要价值。具体的人脸图像补全是对破碎或遮挡的不完整人脸图像进行补全,主要是通过整张人脸图片的语义信息来生成相似的人脸图像。传统的图像补全方法不具有捕捉高级语义的能力,很难实现具有明显语义信息的人脸补全任务。
图1:整个网络结构图
针对这个问题,强振平教授团队提出了一种基于特征解析图的人脸图像补全网络(图1)。该网络主要分为两个阶段:人脸解析图预测网络和人脸图像补全网络。人脸解析图预测网络是预测完整的解析图,人脸图像补全网络是利用人脸解析预测网络得到的解析图来引导人脸图像补全完成缺失区域的填充。整个网络通过输入掩码(缺失区域的标注)、不完整的人脸图像和提取的破损解析图,训练人脸解析图网络以生成完整的解析图。进一步,人脸图像补全网络使用预测得到的解析图来引导人脸图像的补全,并生成包含缺失区域的完整人脸图像。在公开数据集上,验证了该方法的有效性(图2为在公开数据集上的修复结果示例图)。该方法对东方人脸图像的补全依然取得了非常好的结果(如图3所示)。
图2:人脸图像补全结果示例图
(公开人脸数据集)
图3:人脸图像补全示例图
(东方人脸图像)
该研究受到国家自然科学基金项目、云南省教育厅科研基金项目和云南省基础研究项目的资助,强振平为西南林业大学承担课题/项目的负责人。
记者:杨艳萍
摄影:供图