CVPR2019 | R-MVSNet: 一个高精度高效率的三维重建网络

2019 年 3 月 14 日 计算机视觉life

 点“计算机视觉life”关注,置顶更快接收消息!


1. 导读

  • 目标读者:对MVS(multi-view stereo,多视几何)问题感兴趣的人群。MVS旨在利用多张影像(影像及对应的相机几何)恢复出三维场景。

  • 论文作者:香港科技大学和深圳Altizure公司的研究团队。

  • 简介: 该团队于2018年提出了一个高精度高效率的三维重建网络 —— MVSNet,被ECCV2018选为Oral。而今针对原MVSNet由于过于耗费内存而难以应用到大尺度场景的问题,提出了“R-MVSNet”(Recurrent MVSNet),该网络在原MVSNet的基础上进行改进,引入循环神经网络架构,可依序地在深度方向通过GRU单元正则化2D的代价图,较大程度地缓解了内存消耗,进而使大尺度的三维场景重建成为可能,该文章已被CVPR2019接收。

2. MVSNet回顾

由于R-MVSNet是在原MVSNet上进行的改进,故对MVSNet进行回顾有一定必要性。

MVSNet网络架构如图一所示:

图一:MVSNet网络架构

输入进网络的多视影像首先经由2D的特征提取层以及可微的单应矩阵变换以构建代价量,再经由三维卷积网络的优化得到三维概率空间,最后基于参考影像进行进一步优化。

MVSNet主要贡献在于:

  1. 通过可微单应矩阵(Differentiable Homography)将相机几何嵌入到网络,以帮助实现端到端的深度神经网络。

  2. 设计了基于方差的多视匹配代价计算准则,将任意数量的像素特征向量映射为一个匹配代价向量,以帮助网络适用于不定数量的图像输入。

3. R-MVSNet介绍

R-MVSNet相较于MVSNet,引入了循环神经网络架构,依序地在深度方向通过GRU单元正则化2D的代价图,以减少内存消耗进而使其适用于大尺度的三维场景重建。

MVSNet网络架构如图二所示:

图二:R-MVSNet网络架构

输入的多视影像首先经由2D的特征提取层提取特征,经由可微的单应矩阵变换到参考影像的相机视锥体的正面平行面上,然后在不同深度计算代价,并经由卷积的GRU单元进行正则化,使在深度方向获取几何和单向的语义信息成为可能。该网络将问题视为分类问题,以交叉熵作为损失函数。

在完整的三维重建的流程中,除去R-MVSNet所担任的生成深度图的模块,其他非学习的模块还包括预处理,深度图优化,深度图滤波与融合。

4. 实验及结果

网络在DTU数据集上进行训练,实现框架为tensorflow。

测试数据集有DTU,Tanks and Temples,ETH3D( 图二:数据集具体结介绍见论文 )。

在DTU数据集上进行测试的定量结果图如图三所示,结果表明就重建的完整性和整体的质量而言该方法优于其他的方法。重建效果如图四所示。

图三:以DTU为测试集的定量结果

图四:在DTU数据中Scan23和Scan10上的重建结果及Groud Truth

R-MVSNet和MVSNet在各测试数据集上的表现对比如图五所示,结果表明R-MVSNet的表现明显优于MVSNet,成倍地减小了内存消耗,可处理更大尺度的三维场景。

图五:R-MVSNet与MVSNet在各测试数据集上的表现对比。

5. 论文及代码链接

论文链接:
https://arxiv.org/abs/1902.10556

代码链接:
https://github.com/YoYo000/MVSNet

相关文章

从零开始一起学习SLAM | 神奇的单应矩阵

计算机视觉方向简介 | 从全景图恢复三维结构

计算机视觉方向简介 | 阵列相机立体全景拼接

计算机视觉方向简介 | 深度相机室内实时稠密三维重建

计算机视觉life 精选文章大合集


欢迎关注公众号:计算机视觉life,一起探索计算机视觉新世界~

好文!给个好看啦~  

登录查看更多
9

相关内容

CVPR2020 | 商汤-港中文等提出PV-RCNN:3D目标检测新网络
专知会员服务
43+阅读 · 2020年4月17日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
37+阅读 · 2020年2月21日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
基于Siamese网络的多视角三维人脸重建
计算机视觉战队
5+阅读 · 2019年11月28日
已删除
将门创投
5+阅读 · 2019年9月10日
ICCV2019 | 高精度,高效率点云三维重建 PointMVSNet
计算机视觉life
23+阅读 · 2019年9月5日
【泡泡图灵智库】用于单目深度估计的深度有序回归网络
用于RGB-D室内场景语义分割的门式融合局部感知反卷积网络
机器学习研究会
7+阅读 · 2017年10月30日
Arxiv
24+阅读 · 2020年3月11日
Foreground-aware Image Inpainting
Arxiv
4+阅读 · 2019年1月17日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关资讯
基于Siamese网络的多视角三维人脸重建
计算机视觉战队
5+阅读 · 2019年11月28日
已删除
将门创投
5+阅读 · 2019年9月10日
ICCV2019 | 高精度,高效率点云三维重建 PointMVSNet
计算机视觉life
23+阅读 · 2019年9月5日
【泡泡图灵智库】用于单目深度估计的深度有序回归网络
用于RGB-D室内场景语义分割的门式融合局部感知反卷积网络
机器学习研究会
7+阅读 · 2017年10月30日
Top
微信扫码咨询专知VIP会员