结合特征聚类和深度残差收缩网络的壁画风格迁移

Abstract

古代壁画为存世孤本且艺术风格独特。然而，由于可参考数据稀少，缺失信息重建的效果不佳。如何产生足够可参考样本是提升壁画修复效果的关键节点。为了解决此问题，提出一种改进的风格迁移模型来生成高质量的壁画图像，达到扩充数据的目的。首先，在输入图像的低维空间进行聚类以保持图像的结构完整性。其次，引入基于注意机制和软阈值函数的残差收缩模块去除图像中冗余信息，有效保留纹理细节信息。最后，将内容聚类集合与匹配到的风格聚类集合进行实时的特征转换，得到任意风格的迁移图像。实验结果表明，与其他常见的风格迁移方法相比，所提方法能够生成自然清晰的壁画图像，并且在客观指标峰值信噪比和结构相似度上均取得较好的结果。此外，在基于生成对抗网络的壁画数字生成实验中，验证了所提方法较传统增广方法的有效性。