用于RGB-D室内场景语义分割的门式融合局部感知反卷积网络

2017 年 10 月 30 日 机器学习研究会 泡泡机器人SLAM
 

摘要



大家好,今天为大家带来的文章是"Locality-Sensitive Deconvolution Networks with Gated Fusion for RGB-D Indoor Semantic Segmentation"——用于RGB-D室内场景语义分割的门式融合局部感知反卷积网络,该文章选自CVPR2017。


从左至右依次是彩色图,HHA图,Ground Truth和网络的预测结果

这篇文章使用RGB-D数据进行室内场景的语义分割。尽管常用的反卷积网络在这一问题上实现了令人印象深刻的效果,但我们发现这一问题在以下两方面还有继续提升的空间。


其中之一是边缘分割。反卷积网络使用更多的像素来预测每个像素的类别。这一行为隐含的限制了物体边缘的分割精度。另一方面是彩色图像和深度图像数据融合的问题。近些年来最好的方法一般都使用相等的权值来融合两者。但是这一做法并没有考虑到这两者对于不同场景下不同类别的表达能力的差异。


为了解决这两个问题,我们第一个提出了局部感知的反卷积神经网络(LS-DeconvNet)LS-DeconvNet使用RGB-D数据,在每一个反卷积层结合了局部视觉信息和几何信息。我们的做法使网络不仅能够有更大的感受域,同时也可以恢复出更加精细的物体边缘。对于RGB-D数据的融合,我们引入了一个门式融合的层来有效的结合两个LS-DeconvNets。这一层可以学习RGB和Depth数据在每一个像素上的融合权值。


我们的算法在 SUN RGB-D和NYU-Depthv2取得了最好的效果。


转自:泡泡机器人SLAM

登录查看更多
7

相关内容

【CVPR2020】时序分组注意力视频超分
专知会员服务
30+阅读 · 2020年7月1日
【CVPR2020-Oral】用于深度网络的任务感知超参数
专知会员服务
25+阅读 · 2020年5月25日
CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
【CVPR2020-百度】用于视觉识别的门控信道变换
专知会员服务
12+阅读 · 2020年3月30日
专知会员服务
41+阅读 · 2020年2月20日
【泡泡图灵智库】体积实例感知语义建图与3D对象发现
泡泡机器人SLAM
22+阅读 · 2019年9月7日
【泡泡图灵智库】协同视觉-惯性SLAM
泡泡机器人SLAM
28+阅读 · 2019年9月6日
Hierarchy Parsing for Image Captioning
Arxiv
6+阅读 · 2019年9月10日
Arxiv
10+阅读 · 2019年1月24日
VIP会员
Top
微信扫码咨询专知VIP会员