基于深度学习的图像处理算法研究

随着智能手机和微单相机的普及,拍照已经变成人们日常生活中不可缺少的一部分,图像也已成为人类社会的重要信息媒介。然而受到拍照环境、设备和技术的影响,图像中难免会出现退化现象,如何从图像处理的角度提升拍摄照片的质量具有重要的研究意义与应用价值。近年来,深度学习技术得到了巨大的发展,并广泛应用于图像处理领域。相对于许多传统算法,深度学习技术从海量的训练数据中学习到的先验知识具有更强的泛化能力和更复杂的参数化表达,且无需调节算法参数以适应不同的应用场景。得益于上述优势,深度学习技术已经广泛应用于图像处理领域,如何利用深度学习算法提升图像处理的效果也变成了一个重要的研究方向。

尽管深度学习技术显著促进了图像处理领域的发展,但是受限于其对训练数据的敏感性,在面对无标签、仅有弱标签或者合成伪标签的数据时,深度学习技术的优势难以充分体现。本学位论文针对以上挑战,重点研究了缺失完整数据标签的经典图像处理问题,包括图像平滑、反光去除和本征图像分解等。本文通过将上述问题抽象为对图像结构敏感的图像分解问题,将显著的目标边缘信息通过优化或者滤波的方式编码进深度学习的算法设计中。根据图像处理问题中数据标签的类型和数量不同,本文依次提出了基于无监督学习、弱监督学习和多标签联合训练的深度学习解决方案。本文的最后提出了解耦学习框架,通过对10种不同图像处理问题的联合训练,提炼出了图像处理问题的核心解空间。该算法对于理解深度学习技术在图像处理领域的应用有重要的研究价值和意义。本文的创新点和贡献包括以下几个方面:

(1) 一种基于无监督学习的空间自适应图像平滑算法

该算法通过使用卷积神经网络,以无监督的方式从无标签数据中学习图像平滑的优化过程,并实现可灵活调节的图像平滑效果。该算法提出了一个由边缘保持项和空间自适应平滑项构成的能量函数,前者用于保持重要但易破坏的图像结构,后者用于将多种形式的正则器(Lp范数)施加至图像的不同区域。由于缺乏平滑图像的真值数据,本文采用一个无监督学习的能量优化框架,用来实现多种基于图像平滑的视觉应用,譬如图像抽象化、铅笔素描、细节增强、纹理去除和基于内容的图像处理等。实验结果表明,该基于无监督学习的空间自适应图像平滑算法获得了更好的视觉结果。

(2) 一种基于弱监督学习的图像反光去除算法

该算法提出了一个多阶段卷积神经网络,用以解决图像分解领域中经典的反光去除问题。本算法框架由两个结构相似的卷积神经网络串联而成,前者预测目标图像的边缘结构,后者依据预测边缘信息的引导重建目标图像;整个过程既不需要任何人工设计,也不依赖于其他图像处理应用。通过从真实反光图像观察得到的图像亮度和结构先验,该算法设计了一种针对模糊强反光的反光图像合成算法;通过将合成数据以弱监督信号的形式融入到多阶段神经网络训练中,该算法获得了在真实反光图像上的良好泛化性能。实验结果表明,该基于弱监督学习的图像反光去除算法在不同程度的反光场景中均获得更优的视觉效果。

(3) 一种基于多标签联合训练的本征图像分解算法

本征图像分解往往存在数据集冗杂、数据标签不一致等问题。为解决该问题,本文提出了一个通用的核心神经网络,用以在不同类型的数据标签中共享本征图像形成过程的稀疏先验。该神经网络由三个不同的基础模块组成:直接本征图像估计网络、导向网络和域滤波器;其中,直接本征图像估计网络通过对本征图像的直接监督获得初始的预测结果,导向网络负责生成稀疏的反射结构先验,并引导域滤波器获得干净的反射估计。该算法设计了一个灵活的能量损失层以实现多标签数据联合训练的目的。实验结果表明,该本征图像分解算法在所有的主流基准数据集上都获得了更高的精确度。

(4) 一种基于解耦学习的实时参数化图像处理框架

传统的深度学习算法在面对不同的图像处理应用时,需要重复地训练神经网络。为了解决这个问题,该算法提出了由基础网络和权重学习网络组成的解耦学习框架,其中前者用来实现具体的图像处理应用,后者用来学习基础网络的权重。该算法通过对基础网络的结构和权重进行解耦,达到根据图像处理应用的变化实时动态调整基础网络权重的效果,并因此实现了利用单一神经网络融合多种图像处理应用的目的。实验结果表明,该解耦学习框架成功应用在10种不同的参数化图像算子中,并减少了网络参数的存储空间。

成为VIP会员查看完整内容
0
34

相关内容

图像处理(image processing),用计算机对图像进行分析,以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。

摘要:医学影像分割是计算机视觉在医学影像处理中的一个重要应用领域,其目标是从医学影像中分割出目标区域,为后续的疾病诊断和治疗提供有效的帮助。近年来深度学习技术在图像处理方面取得了巨大进展,基于深度学习的医学影像分割算法逐渐成为该领域研究的重点和热点。首先叙述了计算机视觉下的医学影像分割任务及其难点,然后重点综述了基于深度学习的医学影像分割算法,对当前具有代表性的相关方法进行了分类和总结,进而介绍了医学影像分割算法常用的评价指标和数据集。最后,对该技术的发展进行了总结和展望。

成为VIP会员查看完整内容
0
59

辨识性特征学习及在细粒度分析中的应用

细粒度分析旨在对粗粒度的大类进行细粒度的子类划分,如把鸟划分为里海燕鸥、 北极燕鸥等子类别。其广泛应用于智能农业、智能医疗等智能产业,具有重要的研究 和应用价值。其挑战在于类间差异小、类内差异大。以图像为例,不同子类别在形状、 颜色上差异细微,难以区分;相同子类别在姿态、视角上差异显著,容易误分。因此, 关键科学问题是:如何获取细粒度子类别的辨识性信息并有效表达,突破细粒度分析难题。针对上述问题,本文从减少标注成本、减少人工先验、提高辨识速度、提高语义 关联四个方面展开辨识性特征学习研究,并分别应用于细粒度图像分类和细粒度跨媒 体检索任务。主要工作总结如下:

  1. 在减少标注成本上,提出了基于对象-部件注意力模型的细粒度图像分类方法。在对象级注意力上,提出注意力选择和显著性提取,自动定位对象区域,学习更 精细的对象特征。在部件级注意力上,提出空间关联约束和部件语义对齐,实现 辨识性部件的有效定位,排除了姿态、视角等差异的干扰。两者结合能够学习 到多粒度的辨识性特征,准确率超过了使用对象、部件人工标注的强监督方法。

  2. 在减少人工先验上,提出了基于堆叠式深度强化学习的细粒度图像分类方法。首 先,层次化地定位图像中的多粒度辨识性区域,并自适应地确定其数目。然后, 通过多尺度区域的定位及辨识性特征学习,进一步提升细粒度图像分类准确率。学习过程由语义奖励函数驱动,能够有效捕捉图像中的辨识性、概念性的视觉 信息,实现弱监督甚至无监督条件下的辨识性特征学习。

  3. 在提高辨识速度上,提出了基于弱监督快速辨识定位的细粒度图像分类方法。首 先,提出多级注意力引导的辨识性定位,通过显著图生成伪监督信息,实现了 弱监督条件下的辨识性定位。进一步显著图驱动二次定位学习,增强了定位的 准确性。然后,提出多路端到端辨识性定位网络,实现多个辨识性区域的同时 定位,从而提高了辨识速度。多个辨识性区域之间互补促进,提升细粒度图像 分类准确率。

  4. 在提高语义关联上,引入文本、视频、音频等跨媒体数据,提出了基于细粒度 分类的跨媒体检索方法。建立了首个包含 4 种媒体类型(图像、文本、视频和 音频)的细粒度跨媒体检索公开数据集和评测基准 PKU FG-XMedia。提出了能 够同时学习 4 种媒体统一表征的深度模型 FGCrossNet,确保统一表征的辨识性、 类内紧凑性和类间松散性。实现图像向跨媒体的扩展,分类向检索的扩展。

成为VIP会员查看完整内容
0
14

摘要: 图像补全是图像处理的一个研究领域,为有物体遮挡以及图像关键部分缺失状况下的图像识别提供了解决方案,应用领域非常广泛,受到了人们的关注。经深度学习方法补全的图像具有更高的图像分辨率和可靠性,逐渐成为图像补全的主流方法之一。文中针对图像补全领域的主要问题,介绍了相关深度学习方法的基本原理和经典算法,系统而渐进地剖析了2010年以来有代表性的图像补全方法,探讨了基于深度学习的图像补全在不同领域的具体应用,并列举了该研究领域目前面临的几个问题。

http://www.jsjkx.com/CN/10.11896/jsjkx.200600009

成为VIP会员查看完整内容
0
30

摘要:近年来,基于深度学习的表面缺陷检测技术广泛应用在各种工业场景中.本文对近年来基于深度学习的表面缺陷检测方法进行了梳理,根据数据标签的不同将其分为全监督学习模型方法、无监督学习模型方法和其他方法三大类,并对各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点和应用场景.本文探讨了表面缺陷检测中三个关键问题,介绍了工业表面缺陷常用数据集.最后,对表面缺陷检测的未来发展趋势进行了展望.

成为VIP会员查看完整内容
0
54

摘要: 大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。

成为VIP会员查看完整内容
0
98
小贴士
相关VIP内容
专知会员服务
59+阅读 · 1月11日
专知会员服务
14+阅读 · 2020年12月10日
专知会员服务
43+阅读 · 2020年12月5日
专知会员服务
30+阅读 · 2020年12月4日
专知会员服务
199+阅读 · 2020年8月10日
专知会员服务
54+阅读 · 2020年5月31日
专知会员服务
98+阅读 · 2020年4月25日
南洋理工大学,深度学习推荐系统综述
专知会员服务
142+阅读 · 2019年10月14日
相关资讯
深度学习在图像处理的应用一览
极市平台
12+阅读 · 2019年11月21日
基于深度学习的视觉三维重建研究总结
人工智能前沿讲习班
4+阅读 · 2019年11月19日
深度学习的图像修复
AI研习社
20+阅读 · 2019年3月28日
【学界】基于生成对抗网络的低秩图像生成方法
GAN生成式对抗网络
9+阅读 · 2018年7月13日
如何设计基于深度学习的图像压缩算法
论智
24+阅读 · 2018年4月26日
干货 | 卷积神经网络入门这一篇就够了
数盟
5+阅读 · 2018年1月18日
独家 | 基于深度学习的行人重识别研究综述
AI科技评论
10+阅读 · 2017年12月20日
相关论文
Shiv Ram Dubey
19+阅读 · 2020年11月23日
Aravind Srinivas,Michael Laskin,Pieter Abbeel
12+阅读 · 2020年4月28日
Deyu Bo,Xiao Wang,Chuan Shi,Meiqi Zhu,Emiao Lu,Peng Cui
3+阅读 · 2020年2月5日
Zhen Zhang,Jiajun Bu,Martin Ester,Jianfeng Zhang,Chengwei Yao,Zhi Yu,Can Wang
8+阅读 · 2019年11月14日
Deep learning for cardiac image segmentation: A review
Chen Chen,Chen Qin,Huaqi Qiu,Giacomo Tarroni,Jinming Duan,Wenjia Bai,Daniel Rueckert
14+阅读 · 2019年11月9日
gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo
Nestor Gonzalez Lopez,Yue Leire Erro Nuin,Elias Barba Moral,Lander Usategui San Juan,Alejandro Solano Rueda,Víctor Mayoral Vilches,Risto Kojcev
5+阅读 · 2019年3月14日
Label Embedded Dictionary Learning for Image Classification
Shuai Shao,Yan-Jiang Wang,Bao-Di Liu,Weifeng Liu
4+阅读 · 2019年3月7日
Assia Benbihi,Matthieu Geist,Cédric Pradalier
10+阅读 · 2018年5月10日
Sounak Dey,Anjan Dutta,Suman K. Ghosh,Ernest Valveny,Josep Lladós,Umapada Pal
5+阅读 · 2018年4月28日
Top