Autonomous aerial navigation using monocular visual-inertial fusion（VINS）

https://www.jianshu.com/p/1b7c4506a636

题目：单目视觉-惯性融合自动导航

摘要

自主微型飞行器（MAV）具有成本和机动性优势，使其成为航空摄影，监视和搜索和救援等应用的理想机器人平台。随着平台缩小，MAV变得更能够在受限环境中运行，但它也引入了显着的大小和有效载荷约束。 由于其重量轻，占地面积小，单视觉惯性导航系统（VINS）仅由惯性测量单元（IMU）和摄像机组成，在这种情况下成为最合适的传感器套件。事实上，它是最小的传感器套件，允许具有足够环境意识的自主飞行。 在本文中，我们展示了使用单目VINS实现可靠的在线自主导航是可能的。我们的系统建立在配备有鱼眼摄像头，低成本IMU和异构机载计算资源的定制四旋翼测试平台上。我们系统的主干是一个高度精确的基于优化的单目视觉惯性状态估计器，具有在线初始化和自我外部校准。 基于GPU的基于单一密集映射模块，基于估计的姿势，提供广角态态感知。最后，直接在增量式三维地图上运行的在线轨迹规划器可确保在杂乱的环境中进行安全导航。 提供了广泛的实验结果来验证各个系统模块以及室内和室外环境中的整体性能。

关键词

空中机器人，建图，规划，位置估计

1.简介

微型飞行器（MAV）是低成本，小尺寸和出色移动性的理想机器人平台，适用于室内和室外环境中的各种应用。 由于MAV的快速动态和非视距操作的可能性，空中机器人必须能够自主导航。

可靠的状态估计，环境映射和避障是自主导航最重要的模块。 全球导航卫星系统（GNSS）为状态估计提供了一个直接的解决方案，使大量自主微型飞行器的户外应用成功商业化。 但是，GNSS不提供任何障碍信息。 它们也不适用于需要MAV移动性优势的狭窄，杂乱或室内环境中的操作。

在狭窄环境中操作需要小平台。 然而，较小的平台通常具有紧凑的尺寸，重量和功率（SWaP）限制，限制了它们携带有源但重的传感器（例如雷达或激光雷达）的能力。 由于基线长度不足，小平台的尺寸也限制了其承载立体声或多摄像机系统的能力。 随着平台变小，单目视觉惯性系统（VINS）仅由低成本惯性测量单元（IMU）和摄像头组成，由于其重量轻和占地面积小，成为唯一可行的传感器设置。 实际上，在消费电子设备上广泛使用的单眼VINS是最小的传感器套件，允许具有足够环境意识的自主飞行。

尽管具有出色的SWaP性能，但在使用单眼VINS进行自主导航时仍存在重大挑战。使用单个摄像机无法直接观察距离，并且要从单目VINS获得公制测量值，需要对环境中的特征进行可靠跟踪，以及具有足够加速度和角速度的运动。来自IMU和相机的测量值被融合在一起以获得状态的度量估计。这是一个脆弱且高度非线性的过程，需要宽视场（FOV）摄像机进行特征跟踪，精确的摄像机-IMU外部校准和良好的估计器初始化。密集3D地图的使用对于确保检测稀疏特征未覆盖的障碍物是必要的。为此，通过每像素多视图三角测量，离群值去除和深度图融合来生成密集深度图需要高度精确的姿态估计以及强大的计算平台。为了关闭感知 - 动作循环，我们还需要轨迹规划和反馈控制模块，这些模块在重建的密集环境表示上运行以保证安全性。

在本文中，我们提出了一个完整的系统解决方案来解决上述所有挑战。 系统级的贡献证明了使用最小单目VINS和完全机载处理的可行性，以通过未知混乱的环境实现安全导航。 从硬件到软件，每个系统模块的决策均来自仔细的工程考虑和折衷。我们选择使用具有IMU触发的硬件同步功能的单(?)目鱼眼摄像头来提供具有精确时间戳的广角观测。 我们使用一组功能强大的异构机载计算平台来并行化计算要求较高的每像素图像操作。

在软件模块层面，我们的主要贡献在于合适实时算法的选择，或者从我们以前的工作中得到改进。我们的算法包的主干是一个高精度，紧耦合，基于优化的单目视觉 - 惯性状态估计器，支持鱼眼相机，在线初始化和摄像机 - IMU外部校准。基于平面扫描的多视点深度估计模块结合半全局深度平滑，为障碍物检测提供实时密集深度图像。使用概率截断的带符号距离函数（TSDF）融合将深度图像融合到全局3D图中。最后，基于梯度的轨迹规划模块直接在重建的3D地图上运行，通过混乱的3D环境提供无碰撞轨迹。通过使用标准多旋翼控制器执行期望的轨迹来闭合感知 - 行动循环。据我们所知，我们是第一个使用这种最小传感器套件实现此类导航功能的人。这项工作指出了一个非常小（直径小于10厘米）的飞行器的自主方向。

本文的其余部分分为八个部分。 系统级相关工作将在第2节中简要讨论。第3节概述了我们的系统在硬件和软件体系结构中的情况。 第4节讨论我们如何使用单眼鱼眼相机。 状态估计，密集3D映射和轨迹规划模块分别在第5节，第6节和第7节中给出。 在线实验结果（第8节）验证各个模块以及集成系统的性能。 我们在室内和室外环境中展示自主导航。 第9节总结了这项工作，并指出了未来改进的可能方向，我们的目标是将我们的框架扩展到更高速度，更低功耗，更小尺寸和更低成本的系统。

2.相关工作

在不可使用GNSS的室内和室外环境中，有一系列关于自主飞行的学术工作。 当我们考虑对整个系统有贡献的单个模块时，该集合变得更加广泛。 在本节中，我们仅回顾使用低成本视觉传感模式的最相关的系统级工作，并将关于各个模块的讨论留给相应的部分。

基于立体视觉的方法已被广泛研究用于航空导航。参考文献1，使用三个板载计算单元，FPGA用于实时立体匹配，Gumstix用于实时嵌入式处理，Intel Core2Duo用于视觉测距，映射和规划。通过使用由Octomap library2提供的概率体素图，路径规划器被设计为提供到指定航路点的无障碍路径。松散耦合的视觉 - 惯性扩展卡尔曼滤波器（EKF）用于状态估计。然而，由于立体深度估计的空间基线要求，很难使平台小型化。同样，参考文献3给出了另一个基于视觉的映射和规划框架，其映射模块在其外部运行。还使用板外处理来实现循环闭合模块。然而，除了几个前视立体相机之外，另一个向下看的相机用于基于光流的状态估计。然而，在我们的工作中，我们展示了如何只有一台摄像机足以实现所有导航功能。

已经提出了使用各种传感器放置和计算基础结构的基于单目视觉的方法。结合SVO4和REMODE5，设计了一种重量轻，成本低的飞行平台，可以自动飞行并实时同时进行密集的三维重建。该平台配备有向下摄像头，用于状态估计和映射，这不足以在杂乱环境中进行障碍物检测。此外，参考文献6将映射模块卸载到地面站，这会导致高延迟到不适合在线导航的点。通过仅使用包含足够传感器的智能手机，包括IMU和单目相机，参考文献7在GPS拒绝环境中实现自主飞行。但是，在这项工作中没有开发出映射或避障模块。与我们的系统配置最相似的是参考文献8，其中前视单目视觉系统用于闭环自主导航。然而，使用半稠密方法的深度估计模块仍然是非车载的9。

在参考文献10中，作者提出了具有多个传感器的双层融合框架，旨在在诸如船载环境的挑战性环境中开发鲁棒的自主导航系统。 使用冗余传感器套件，参考文献10主要致力于提供安全路径，并在极端环境中提供令人信服的强大导航实验。 然而，出于不同的目标，我们考虑建立一个具有最小传感的敏捷飞行平台。

在固定翼飞行器上也可以实现视觉导航。 基于IMU和平面激光，参考文献11提出了一种高斯粒子滤波器的新颖扩展来解决定位问题。 通过展示具有挑战性的室内环境实验，作者对已知室内环境中的高速飞行进行了深思熟虑。

另一个研究方向涉及使用基于学习的技术进行end-to-end的导航动作生成。 代表作品包括参考文献12。 尽管是一个很有希望的方向，但基于学习的方法尚未达到复杂未知环境中安全飞行的成熟水平。

1. 系统概述

   我们现在介绍我们的四旋翼实验测试台的硬件设计和软件架构。 我们满足传感器选择，传感器同步，计算能力分配，监控，调试工具，实验接口和模块化系统设计的要求。 我们将解释每个系统设计决策背后的基本原理以及系统模块的描述。

3.1 硬件结构

我们的目标是设计一个模块化，紧凑，耐用，易于构建的机器人测试台。 我们的机载系统由两个主要模块组成：感知核心和四旋翼机架。 感知核心集成了车载电脑和传感器，四旋翼机架由机械结构，电机，螺旋桨和电池组成。

作者：陌上尘离

链接：https://www.jianshu.com/p/1b7c4506a636

来源：简书

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。