Depth perception of transparent and reflective objects has long been a critical challenge in robotic manipulation.Conventional depth sensors often fail to provide reliable measurements on such surfaces, limiting the performance of robots in perception and grasping tasks. To address this issue, we propose a novel depth completion network,HDCNet,which integrates the complementary strengths of Transformer,CNN and Mamba architectures.Specifically,the encoder is designed as a dual-branch Transformer-CNN framework to extract modality-specific features. At the shallow layers of the encoder, we introduce a lightweight multimodal fusion module to effectively integrate low-level features. At the network bottleneck,a Transformer-Mamba hybrid fusion module is developed to achieve deep integration of high-level semantic and global contextual information, significantly enhancing depth completion accuracy and robustness. Extensive evaluations on multiple public datasets demonstrate that HDCNet achieves state-of-the-art(SOTA) performance in depth completion tasks.Furthermore,robotic grasping experiments show that HDCNet substantially improves grasp success rates for transparent and reflective objects,achieving up to a 60% increase.


翻译:透明与反射物体的深度感知一直是机器人操作领域的关键挑战。传统深度传感器通常无法在此类表面上提供可靠的测量数据,限制了机器人在感知与抓取任务中的性能。为解决这一问题,我们提出了一种新颖的深度补全网络HDCNet,该网络融合了Transformer、CNN与Mamba架构的互补优势。具体而言,编码器被设计为双分支Transformer-CNN框架,以提取模态特定的特征。在编码器的浅层,我们引入了一个轻量级多模态融合模块,以有效整合低层特征。在网络瓶颈处,开发了Transformer-Mamba混合融合模块,实现高层语义与全局上下文信息的深度融合,显著提升了深度补全的精度与鲁棒性。在多个公开数据集上的广泛评估表明,HDCNet在深度补全任务中达到了最先进的性能。此外,机器人抓取实验显示,HDCNet显著提高了对透明与反射物体的抓取成功率,最高可提升60%。

0
下载
关闭预览

相关内容

【AAAI2021】“可瘦身”的生成式对抗网络
专知会员服务
13+阅读 · 2020年12月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
112+阅读 · 2019年11月25日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员