【CVPR 2022】连续驾驶场景与不断增长的建筑的连续立体匹配，Continual Stereo Matching of Continuous Driving Scenes with Growing Architecture

Continual Stereo Matching of Continuous Driving Scenes with Growing Architecture

Chenghao Zhang, Kun Tian, Bin Fan, Gaofeng Meng, Zhaoxiang Zhang, Chunhong Pan

深度双目模型在驾驶场景中取得了最先进的性能，但在未见过的场景中进行测试时性能严重下降。尽管最近的工作通过不断的在线适应缩小了这一性能差距，但这种设置需要在部署时不断更新梯度，并且无法避免灾难性的遗忘。为了应对这些挑战，我们建议执行连续双目匹配，其中模型的任务是 1) 不断学习新场景，2) 克服忘记先前学习的场景，以及 3) 在没有在线梯度更新的情况下连续预测视差。我们通过引入可重用架构增长 (RAG) 框架来实现这一目标。RAG 利用特定任务的神经单元搜索和架构增长来持续学习新场景。在增长过程中，它可以通过重用之前的神经单元来保持高可重用性，同时获得良好的性能。还引入了一个名为 Scene Router 的模块，以在推理时自适应地选择特定于场景的架构路径。实验结果表明，我们的方法在各种具有挑战性的驾驶场景中都优于最先进的方法。

RAG模型结构示意