关键词:
图像处理
半色调图像
逆半色调方法
多阶段多分辨率深度网络
多尺度生成对抗网络
融合Transformer阶段式网络
摘要:
半色调技术是指将连续调图像转换为二值图像但视觉上近似连续调图像的技术,其广泛应用于印刷、出版、纺织、电子显示等领域。对于这些大量存在的半色调图像,若要再次利用,一般需要先将其转换为连续调图像。逆半色调技术就是将半色调图像转换为连续调图像的一项特殊的数字图像恢复技术,其在图像处理、图像印刷再现及机器视觉等任务中具有重要的学术研究意义及实际应用价值。由于半色调过程中不可避免的存在着图像信息损失,逆半色调是一个病态的问题。同时,半色调噪点去除与细节恢复互为矛盾,不同类型半色调图像存在着网点形状及分布的不一致性,扫描半色调图像无成对图像监督信息。这些挑战性的问题,成为逆半色调技术中需要攻克的技术难点。本文针对这些问题,研究基于深度学习的逆半色调技术。本文的主要工作和贡献包括:1)构建了逆半色调研究用的图像数据集为了推动逆半色调方法的研究,构建了一个公开的半色调图像数据集,该数据集包括多类型数字半色调图像数据集MDHD和扫描半色调图像数据集SHD。MDHD包含了连续调图像和相应4种半色调图像,共23445幅图像,分为训练数据集(2375张)、验证数据集(500张)和测试数据集(20570张)。SHD包含8000幅扫描半色调图像,分为训练数据集(6400张)、验证数据集(800张)和测试数据集(800张)。MDHD和SHD中包含了人物、植物、动物和建筑等生活中常见的图像,目标种类多。MDHD和SHD的创建为本文多类型半色调图像的恢复提供了保障,也为其他研究人员进行相关研究奠定了坚实的基础。2)提出一种基于多阶段多分辨率增强的单类数字半色调图像复原方法现有方法在去除半色调噪点时存在图像细节恢复不够清晰、复原图像颜色有一定差异的问题。针对这些问题,基于不同子网络侧重恢复不同图像信息的思想,本文提出了一种多阶段多分辨率单类数字半色调图像复原网络(MM-Net)。首先,利用多分辨率卷积神经网络实现噪点的去除;然后,结合稠密残差块和细节损失函数实现细节增强;最后利用图像高级语义信息实现包括色彩恢复的全局调整。在三个公开数据集上采用峰值信噪比、结构相似度和色差三个指标进行方法评价。实验结果表明,相比于已有逆半色调方法,所提出的MM-Net,无论是在客观指标还是主观可视化效果方面,都取得了最好的结果:在结构相似度方面提高了 0.02-0.11,在峰值信噪比方面提高了 1.61-6.8dB,在色差方面减少了 0.48-2.73。3)提出一种实现多类型数字半色调图像高质量恢复的网络模型目前的逆半色调方法大多都是针对单一类型的数字半色调图像进行复原的,尚不能兼顾不同类型数字半色调图像的噪点去除和细节恢复。为了解决这个问题,研究中提出了一种基于多尺度生成对抗网络的逆半色调方法(MS-GAN)。首先,提出通过多尺度特征提取模块来丰富当前像素点与周围邻域的关系。其中,通道注意力机制自适应地对融合后的特征权重进行重新分配,从而有选择性地关注更为重要的信息。然后,应用细节增强网络增强生成图像细节。最后,采取多尺度鉴别器进一步优化逆半色调图像,增强逆半色调图像的视觉感知效果。实验结果表明,针对Bayer有序抖动法(BDD)生成的半色调图像,本方法恢复得到的逆半色调图像峰值信噪比值提高了 0.25-0.61dB,结构相似度提高了 0-0.03;针对Knuth点分散法(KDD)生成的半色调图像,采用本方法恢复得到的逆半色调图像峰值信噪比提高了 1.14-1.28dB,结构相似度提高了 0.03-0.04;针对迭代法(DBS)生成的半色调图像,采用本方法恢复得到的逆半色调图像峰值信噪比提高了 0.45-0.72dB,结构相似度提高了 0-0.01;只有在处理Floyd-Steinberg误差扩散法(FSDD)生成的半色调图像时,效果稍逊于MM-Net。4)提出一种融合Transformer的扫描半色调图像阶段式逆半色调复原方法针对扫描半色调图像受纸张、油墨影响,退化情况复杂且不存在对应标签图像问题,为了得到高质量的扫描逆半色调图像,基于问题简化的思想,提出基于融合Transformer的阶段式逆半色调方法(ST-Net)。首先,通过无监督退化网络实现连续调图像向扫描半色调图像的转化,生成类扫描半色调图像。然后,通过应用成对数据集训练融合Transformer逆半色调网络模型生成扫描逆半色调图像。实验结果表明,与现有扫描逆半色调方法相比,由融合Transformer的阶段式逆半色调方法得到的扫描逆半色调图像在主观效果和客观指标上都取得了较好的结果:在MOR(Mean Opinion Rank)方面降低了0.67-2.28,在清晰度方面提高了 1.97-11.74,在 FID(Fréchet Inception Distance)方面减少了 1.80-10.96。