摘要: 雨水会产生不良的视觉伪影,从而严重影响可视性,并导致许多计算机视觉系统(例如自动驾驶汽车,监视系统,自动驾驶无人机等)崩溃。雨水会以雨滴,雨水积聚/遮盖效果(在视觉上类似于雾或雾)以及附着在相机镜头或汽车挡风玻璃上的雨滴的形式引入人工制品。在本教程中,我们打算讨论如何恢复由于这些雨水伪影及其复合问题而导致的降级背景信息,从而增强场景的可见性。为了处理雨水条纹和雨水积聚,我们将简要讨论传统的非深度学习方法的演变,并将更多地关注于最新的深度学习方法的工作原理。目前,大多数基于深度学习的方法都是在监督下进行训练的,并提供了真实情况数据。但是,获得真实的地面真实数据非常困难。因此,现有方法依赖于呈现的合成数据。这种方法的问题在于,在降级复杂性,背景变化,光照变化等方面,合成数据与真实数据存在显着差异。因此,为了能够正确解决降雨条纹和降雨积聚的问题,我们需要超越综合训练。除了雨水条和雨水积聚之外,附着在玻璃窗或相机镜头上的雨滴还会严重妨碍背景场景的可见性并严重降低图像质量。已经提出了一些非深度学习方法来处理附着的雨滴,但是结果不足。这个问题是棘手的,因为首先没有给出被雨滴遮挡的区域。第二,关于被遮挡区域的背景场景的信息在很大程度上被完全丢失。为了解决该问题,现有技术方法使用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间,视觉注意力会了解雨滴区域及其周围环境。因此,通过注入此信息,生成网络将更加关注雨滴区域和周围的结构,而判别网络将能够评估恢复区域的局部一致性。有关被遮挡区域背景场景的信息在很大程度上已完全丢失。为了解决该问题,现有技术方法使用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间,视觉注意力会了解雨滴区域及其周围环境。因此,通过注入此信息,生成网络将更加关注雨滴区域和周围的结构,而判别网络将能够评估恢复区域的局部一致性。有关被遮挡区域背景场景的信息在很大程度上已完全丢失。为了解决该问题,现有技术方法使用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间,视觉注意力会了解雨滴区域及其周围环境。因此,通过注入此信息,生成网络将更加关注雨滴区域和周围的结构,而判别网络将能够评估恢复区域的局部一致性。现有技术方法利用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间,视觉注意力会了解雨滴区域及其周围环境。因此,通过注入此信息,生成网络将更加关注雨滴区域和周围的结构,而判别网络将能够评估恢复区域的局部一致性。现有技术方法利用对抗训练来应用细心的生成网络。主要思想是将视觉注意力注入到生成网络和判别网络中。在训练期间,视觉注意力会了解雨滴区域及其周围环境。因此,通过注入此信息,生成网络将更加关注雨滴区域和周围的结构,而判别网络将能够评估恢复区域的局部一致性。

个人简介: Robby T. Tan是新加坡国立大学副教授,也是国大电气与计算机工程系的副教授。来新加坡之前,他曾是荷兰乌得勒支大学的助理教授,伦敦帝国学院的研究助理以及NICTA /澳大利亚国立大学的研究科学家。他在日本东京大学获得了计算机科学博士学位。他与ACCV 2014一起组织了有关图像恢复和增强的新兴主题(IREw)研讨会,并与CVPR 2019一起组织了“全季节视野:恶劣天气和夜间”研讨会。他曾担任ACCV 2010和ACCV 2018区域主席。他还担任ECCV 2016的出版物主席,并定期担任CVPR / ICCV / ECCV的程序委员会成员。他在CVPR 2008中进行的除雾工作被认为是单图像除雾文学的开创性工作。他的研究重点在恶劣的天气/夜间和基于物理的视觉领域。

成为VIP会员查看完整内容
FIRE_2019_10_tutorial_RobbyTTan.pdf
8

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
ICCV2019 | 高精度,高效率点云三维重建 PointMVSNet
计算机视觉life
23+阅读 · 2019年9月5日
一种行人重识别监督之下的纹理生成网络
人工智能前沿讲习班
4+阅读 · 2019年6月30日
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
Arxiv
3+阅读 · 2018年4月10日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
5+阅读 · 2018年1月17日
VIP会员
相关VIP内容
相关资讯
ICCV2019 | 高精度,高效率点云三维重建 PointMVSNet
计算机视觉life
23+阅读 · 2019年9月5日
一种行人重识别监督之下的纹理生成网络
人工智能前沿讲习班
4+阅读 · 2019年6月30日
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
微信扫码咨询专知VIP会员