We propose POLAR, a novel radar-guided depth estimation method that introduces polynomial fitting to efficiently transform scaleless depth predictions from pretrained monocular depth estimation (MDE) models into metric depth maps. Unlike existing approaches that rely on complex architectures or expensive sensors, our method is grounded in a fundamental insight: although MDE models often infer reasonable local depth structure within each object or local region, they may misalign these regions relative to one another, making a linear scale and shift (affine) transformation insufficient given three or more of these regions. To address this limitation, we use polynomial coefficients predicted from cheap, ubiquitous radar data to adaptively adjust predictions non-uniformly across depth ranges. In this way, POLAR generalizes beyond affine transformations and is able to correct such misalignments by introducing inflection points. Importantly, our polynomial fitting framework preserves structural consistency through a novel training objective that enforces local monotonicity via first-derivative regularization. POLAR achieves state-of-the-art performance across three datasets, outperforming existing methods by an average of 24.9% in MAE and 33.2% in RMSE, while also achieving state-of-the-art efficiency in terms of latency and computational cost.


翻译:我们提出POLAR,一种新颖的雷达引导深度估计方法,通过引入多项式拟合,将预训练单目深度估计(MDE)模型输出的无尺度深度预测高效转换为度量深度图。与依赖复杂架构或昂贵传感器的现有方法不同,我们的方法基于一个基本洞见:尽管MDE模型通常能在每个物体或局部区域内推断出合理的局部深度结构,但这些区域之间可能存在相对错位,使得当存在三个或更多此类区域时,线性缩放和平移(仿射)变换不再充分。为解决这一局限,我们利用从廉价、普适的雷达数据预测出的多项式系数,在深度范围内非均匀地自适应调整预测值。通过这种方式,POLAR超越了仿射变换的范畴,能够通过引入拐点来校正此类错位。重要的是,我们的多项式拟合框架通过一种新颖的训练目标保持结构一致性,该目标通过一阶导数正则化强制局部单调性。POLAR在三个数据集上均实现了最先进的性能,在平均绝对误差(MAE)和均方根误差(RMSE)上分别平均优于现有方法24.9%和33.2%,同时在延迟和计算成本方面也达到了最先进的效率水平。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员