This paper proposes a network, referred to as MVSTR, for Multi-View Stereo (MVS). It is built upon Transformer and is capable of extracting dense features with global context and 3D consistency, which are crucial to achieving reliable matching for MVS. Specifically, to tackle the problem of the limited receptive field of existing CNN-based MVS methods, a global-context Transformer module is first proposed to explore intra-view global context. In addition, to further enable dense features to be 3D-consistent, a 3D-geometry Transformer module is built with a well-designed cross-view attention mechanism to facilitate inter-view information interaction. Experimental results show that the proposed MVSTR achieves the best overall performance on the DTU dataset and strong generalization on the Tanks & Temples benchmark dataset.


翻译:本文提议建立一个多视立体网络,称为多视立体立体网络,它以变异器为基础,能够提取具有全球背景和三维一致性的密集特征,这对于使变异系统实现可靠的匹配至关重要。具体地说,为了解决现有有线电视新闻网的变异系统方法的有限可接收领域问题,首先提议建立一个全球变异器模块,以探索全视全球背景。此外,为了进一步使密度特征达到3D一致性,3D测地变异器模块与设计完善的交叉关注机制一起建立,以便利不同视角的信息互动。实验结果表明,拟议的变异系统在DTU数据集上取得了最佳的总体业绩,并在Tanks & Temples基准数据集上实现了强力概括化。

0
下载
关闭预览

相关内容

ICCV 2021最佳论文出炉!微软Swin Transformer摘得马尔奖
专知会员服务
29+阅读 · 2021年10月13日
专知会员服务
22+阅读 · 2021年9月20日
专知会员服务
29+阅读 · 2021年7月30日
最新《Transformers模型》教程,64页ppt
专知会员服务
274+阅读 · 2020年11月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
【泡泡一分钟】一种实用且高效的多视图匹配方法
泡泡机器人SLAM
6+阅读 · 2018年11月19日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
11+阅读 · 2021年10月26日
Arxiv
3+阅读 · 2021年10月14日
Arxiv
17+阅读 · 2021年3月29日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
14+阅读 · 2020年12月10日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
VIP会员
相关论文
Arxiv
11+阅读 · 2021年10月26日
Arxiv
3+阅读 · 2021年10月14日
Arxiv
17+阅读 · 2021年3月29日
Cold-start Sequential Recommendation via Meta Learner
Arxiv
14+阅读 · 2020年12月10日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Top
微信扫码咨询专知VIP会员