Basic Information:

• Title: FAST-Dynamic-Vision: Detection and Tracking Dynamic Objects with Event and Depth Sensing (FAST-Dynamic-Vision: 基于事件和深度感知的动态物体检测与跟踪)
• Authors: Botao He, Haojia Li, Siyuan Wu, Dong Wang, Zhiwei Zhang, Qianli Dong, Chao Xu, Fei Gao
• Affiliation: State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University, Hangzhou, China (浙江大学工业控制技术国家重点实验室)
• Keywords: aerial autonomy, unmanned aerial vehicles (UAVs), dynamic object detection, trajectory prediction, event camera, depth sensing
• URLs: Paper, GitHub Code

论文简要 :

• 本文提出了一种基于事件和深度感知的快速动态物体检测和跟踪系统，通过准确的自我运动补偿、高效的回归算法和异步融合事件和深度信息的优化方法，实现了低延迟和高精度的快速动态物体感知。通过大量实验验证了该系统的性能，并将代码开源以供相关研究使用。

背景信息:

• 论文背景: 近年来，无人机的飞行自主性取得了很大的进展，使得无人机能够在复杂环境中灵活飞行，如矿山勘探等。然而，在动态环境中，特别是面对高速物体时的感知仍然是一个具有挑战性的问题，限制了无人机进一步应用的可能性。
• 过去方案: 传统的感知方法对于快速移动物体的感知存在延迟问题，无法满足实时性要求。事件相机作为一种具有微秒级时间分辨率的异步传感器，具有很大的潜力来解决这个问题。然而，目前还缺乏完整的感知系统来实现快速动态物体的检测和跟踪。
• 论文的Motivation: 鉴于上述问题，本文采用了事件相机作为感知传感器，并设计了一个完整的感知系统。首先，通过融合惯性测量单元（IMU）和深度数据，提出了一种先进的自我运动补偿算法，以减少由自身运动引起的背景事件。然后，通过回归算法实现了动态物体的检测。最后，通过异步融合事件和深度信息，提出了一种优化方法来预测物体的轨迹。通过大量实验验证了该系统的性能，为快速动态物体的避障提供了坚实的基础。

方法:

• a. 理论背景:

  • 本文介绍了一种用于检测和跟踪快速移动动态物体的感知系统，具有低延迟和高精度。

• b. 技术路线:

  • 本文提出了一种准确的自我运动补偿算法，考虑了旋转和平移运动。

  • 使用事件相机设计了一种高效的动态物体检测回归算法。

  • 提出了一种基于优化的方法，将事件和深度相机融合用于轨迹预测。

结果:

• a. 详细的实验设置:

  • 在改装的飞行平台上进行了实验，该平台配备了iniVation DVXplorer动态视觉传感器和Intel Realsense D435i深度相机。
  • 实验平台还包括运行Ubuntu 16.04的DJI Manifold2-C计算机和运行PX4飞行堆栈的CUAV Nora自动驾驶飞行控制器。

• b. 详细的实验结果:

  • 在UAV以超过5 m/s的速度飞行的高动态场景中评估了系统。
  • 与单目方法相比，该系统在时间消耗和移动物体与背景之间的对比度方面表现出色。
  • 将估计的轨迹精度与单目方法进行了比较，融合方法显示出更高的精度。

总结:

这篇论文主要介绍了一种使用事件相机和深度相机进行快速移动物体检测和跟踪的方法。首先，通过计算事件相机中事件的平均时间戳，确定具有最大平均时间戳的区域，该区域代表图像平面上速度最快的区域。然后，引入迭代高斯拟合算法进行目标检测，获取目标的边界框。为了确保边界框的准确性，还提出了移动区域检索方法。接下来，使用卡尔曼滤波器在二维平面上跟踪目标的位置，并根据检测结果在深度图上进行目标分割。然后，通过最小化重投影残差来优化目标的轨迹。最后，为了验证估计结果，设计了一个场景，其中一个无人机自主检测并避开向其飞来的物体。论文的其余部分按照以下方式组织：第IV-A节介绍了高级自运动补偿算法；然后讨论了在该框架中使用的目标检测和跟踪方法（第IV-B节）；在第IV-C节中，执行了融合事件流和深度信息的三维轨迹估计器；第V节描述了实际飞行实验并与其他方法进行了比较。

1.演示视频

2.1 实验平台

1. 无人机平台：DJI Manifold2-C
2. 动态视觉传感器：IniVation DVXplorer
3. 深度相机：Intel Realsense D435i
4. 自动驾驶飞行控制器：CUAV Nora Autopilot Flight Controller
5. 无人机框架：DJI Frame Wheel F450

2.2 实验环境

1. Ubuntu 20.04
2. ROS neotic
3. Ceres Solver：【[安装教程](Installation — Ceres Solver (ceres-solver.org))】
4. DV-ROS驱动：iniVation AG / dv-core / dv-ros · GitLab
5. OpenCV&Open_Contrib：【安装教程】【OpenCV：快速高效解决cmake时的ippicv、face_landmark.dat等文件下载失败问题_opencv tbb下载失败_RuiH.AI的博客-CSDN博客】