【泡泡一分钟】条件生成式对抗网络的阴影检测

2018 年 11 月 18 日 泡泡机器人SLAM

每天一分钟,带你读遍机器人顶级会议文章

标题:Shadow Detection with Conditional Generative Adversarial Networks

作者:Vu Nguyen, Tomas F. Yago Vicente, Maozheng Zhao, Minh Hoai, Dimitris Samara.

来源:International Conference on Computer Vision (ICCV 2017)

编译:黄思宇

审核:颜青松   陈世浪

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权


摘要

本文提出了一个扩展的条件生成式对抗网络(GAN)——scGAN,其针对于图像中的阴影检测问题。先前的阴影检测方法集中于学习阴影区域的局部外观,同时在条件随机场中以成对的潜在目标形式进行有限的局部内容推理。相比之下,我们提出的对抗方法能够对更高层次的关系和全局场景特征建模。我们用条件GAN生成器来训练阴影检测器,并通过将典型的GAN损失与数据丢失项组合来增强其阴影精度。由于阴影标签分布的不平衡性,我们使用加权交叉熵。在标准的GAN架构下,正确设置交叉熵的权重需要训练多个GAN,计算资源昂贵。在scGAN中,我们在生成器中引入额外的灵敏度参数w。该方法能有效地参数化训练中检测器的误差。

结果表明,由此产生的阴影检测器是一个可以生成对应于不同灵敏度级别的阴影图的单一网络,从而避免了对多个模型的计算和昂贵的训练过程。


我们在大规模的阴影数据集SBU和UCF测试了该方法,相对于之前最先进的方法,该方法减少了高达17%的误差。

Abstract    

We introduce scGAN, a novel extension of conditional Generative Adversarial Networks (GAN) tailored for the challenging problem of shadow detection in images. Previous methods for shadow detection focus on learning the local appearance of shadow regions, while using limited local context reasoning in the form of pairwise potentials in a Conditional Random Field. In contrast, the proposed adversarial approach is able to model higher level relationships and global scene characteristics. We train a shadow detector that corresponds to the generator of a conditional GAN, and augment its shadow accuracy by combining the typical GAN loss with a data loss term. Due to the unbalanced distribution of the shadow labels, we use weighted cross entropy. With the standard GAN architecture, properly setting the weight for the cross entropy would require training multiple GANs, a computationally expensive grid procedure. In scGAN, we introduce an additional sensitivity parameter w to the generator. The proposed approach effectively parameterizes the loss of the trained detector. The resulting shadow detector is a single network that can generate shadow maps corresponding to different sensitivity levels, obviating the need for multiple models and a costly training procedure. We evaluate our method on the large-scale SBU and UCF shadow datasets, and observe up to 17% error reduction with respect to the previous state-of-the-art method.


如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号(paopaorobot_slam)

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/forums/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com

登录查看更多
0

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
CVPR 2020 最佳论文与最佳学生论文!
专知会员服务
36+阅读 · 2020年6月17日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
29+阅读 · 2020年5月19日
生成式对抗网络GAN异常检测
专知会员服务
118+阅读 · 2019年10月13日
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】无监督学习的立体匹配方法(ICCV-2017)
泡泡机器人SLAM
8+阅读 · 2018年10月9日
【泡泡一分钟】用于深度双目的非监督适应方法(ICCV-2017)
泡泡机器人SLAM
10+阅读 · 2018年10月7日
【泡泡一分钟】多尺度优化的CNN目标检测算法(ICCV2017-55)
泡泡机器人SLAM
8+阅读 · 2018年7月20日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
【泡泡一分钟】端到端的弱监督语义对齐
泡泡机器人SLAM
53+阅读 · 2018年4月5日
【泡泡一分钟】动态环境下稳健的单目SLAM
泡泡机器人SLAM
13+阅读 · 2018年3月22日
Arxiv
4+阅读 · 2017年11月4日
VIP会员
相关资讯
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】无监督学习的立体匹配方法(ICCV-2017)
泡泡机器人SLAM
8+阅读 · 2018年10月9日
【泡泡一分钟】用于深度双目的非监督适应方法(ICCV-2017)
泡泡机器人SLAM
10+阅读 · 2018年10月7日
【泡泡一分钟】多尺度优化的CNN目标检测算法(ICCV2017-55)
泡泡机器人SLAM
8+阅读 · 2018年7月20日
【泡泡一分钟】点密度适应性点云配准
泡泡机器人SLAM
16+阅读 · 2018年5月28日
【泡泡一分钟】端到端的弱监督语义对齐
泡泡机器人SLAM
53+阅读 · 2018年4月5日
【泡泡一分钟】动态环境下稳健的单目SLAM
泡泡机器人SLAM
13+阅读 · 2018年3月22日
Top
微信扫码咨询专知VIP会员