Selective Sensor Fusion for Neural Visual-Inertial Odometry

[DeepTecher]

Selective Sensor Fusion for Neural Visual-Inertial Odometry，CVPR2019，视觉惯性测距（VIO）

提交日期：2019-03-04
团队：牛津大学计算机系、腾讯、Mo Intelligence 有限公司
作者：Changhao Chen, Stefano Rosa, Yishu Miao, Chris Xiaoxuan Lu, Wei Wu, Andrew Markham, Niki Trigoni
摘要：视觉惯性测距（VIO）的深度学习方法已被证明是成功的，但他们很少专注于结合稳健的融合策略来处理不完美的输入感觉数据。我们提出了一种新颖的端对端选择性传感器融合框架，用于单目VIO，融合单目图像和惯性测量以估计轨迹，同时提高对实际问题的鲁棒性，如丢失和损坏的数据或不良的传感器同步问题。尤其，我们提出了两种基于不同掩蔽策略的融合模态：确定性软融合和随机硬融合，并与先前提出的直接融合基线进行比较。在测试期间，网络能够选择性地处理可用传感器模态的特征并且产生大规模的轨迹。我们在公开的自动驾驶（KITTI），微型飞行器（EuRoC Micro Aerial Vehicle ）和手持VIO（PennCOSYVIO dataset）三种数据集进行了性能的全面调查，结果证明了融合策略的有效性。与直接融合相比，本算法提供了更好的性能，特别是在存在损坏的数据的情况下。此外，我们通过可视化不同场景中的掩蔽层和不同的数据损坏来研究融合​​网络的可解释性，揭示融合网络与不完美的传感输入数据之间的相关性。