Science Robotics研究：无人机仅凭机载传感器实现高机动狭缝穿越，NOKOV度量支持HIL验证

6月11日，浙江大学高飞团队在Science Robotics发表研究论文《Precise aggressive aerial maneuvers with sensorimotor policies》。在该研究中，NOKOV度量光学动作捕捉系统为无人机实验提供高精度状态数据支持，用于硬件在环（HIL）测试中的虚拟狭缝生成以及闭环控制对比实验中的全状态反馈，为无人机高机动飞行与算法验证提供关键实验基础。

一、研究背景：无人机高机动飞行的实验挑战

在无人机高机动飞行与狭缝穿越任务中，传统方法通常依赖状态估计、轨迹优化等模块化系统。这些模块分别进行设计与调参，在复杂飞行任务中容易产生信息损失与误差累积。

在极小安全裕度的飞行场景中，这种误差可能显著影响系统性能与稳定性。因此，如何构建更加端到端的无人机自主飞行策略，并在真实环境中进行可靠验证，是该领域的重要研究问题。

二、研究方法：端到端sensorimotor策略

该方法通过学习策略实现视觉输入与飞行动作之间的直接映射，在一定程度上模拟了生物系统中感知与动作紧密耦合的控制机制。本文训练了一个端到端的“感觉—运动”策略（sensorimotor policy），将高维视觉信号和惯性数据直接映射为底层控制指令，从而呈现出类似鸟类飞行中感知与运动无缝融合的机制。 

三、NOKOV度量动作捕捉系统的实验支持作用

在本研究的实验验证过程中，NOKOV度量光学动作捕捉系统主要承担以下作用：

1. HIL（硬件在环）测试支持

在硬件在环测试中，NOKOV系统提供无人机实时状态数据，用于虚拟狭缝视觉环境的生成，使无人机能够在非实体环境中进行策略验证与飞行测试。

2. 无人机全状态反馈

在基线对比实验中，NOKOV系统为基线控制方法提供无人机全状态信息，用于闭环控制与轨迹跟踪验证。

3. 飞行轨迹记录与评估

通过高精度光学追踪能力，NOKOV系统对无人机实际飞行轨迹进行记录，为算法性能评估提供可靠数据依据。

四、实验平台与系统构成

该研究构建了一套无人机实验系统，包括：

1. 四旋翼无人机平台
2. 单目视觉传感器
3. PX4飞控系统
4. NVIDIA Jetson Orin NX计算平台

相机图像输入神经网络策略模型后，直接输出推力与角速度控制指令，实现端到端飞行控制。

在部分实验中采用HIL方式，通过NOKOV动作捕捉系统与机载IMU融合获取无人机状态信息，并用于虚拟环境生成与实验验证。

五、实验内容与结果验证

实验包括多种高难度飞行任务，例如：

1. 倾斜狭缝穿越
2. 动态狭缝响应式飞行
3. 连续多狭缝穿越
4. 多几何形状开口飞行
5. 多视觉背景条件下飞行测试

结果表明，该方法在多种复杂场景下均表现出较高的穿越成功率与稳定性。

六、sim-to-real与策略学习过程

研究采用信息引导式重置（Informed reset）提升强化学习探索效率，并通过扰动随机化减少仿真与现实之间的差距。

该策略在单狭缝任务中显著提升成功率，并增强了在连续穿越任务中的稳定性与泛化能力。

七、对比实验与系统验证

实验对比两类基线方法：

1. 基线1：依赖狭缝位姿与NOKOV动作捕捉提供全状态反馈的闭环控制方法
2. 基线2：基于视觉-惯性融合的位姿估计与在线规划方法

结果表明，该研究提出的方法在无需外部定位系统的情况下，仍可达到接近基于特权状态方法的性能水平。

八、NOKOV度量动作捕捉系统应用

NOKOV度量光学动作捕捉系统专注于为机器人、无人机及具身智能研究提供高精度运动数据支持，可应用于：

1. 无人机实验与控制验证
2. 强化学习与自主飞行研究
3. 机器人轨迹跟踪与状态反馈
4. HIL硬件在环测试系统

在本研究中，系统为无人机高机动飞行实验提供了关键状态数据支持与实验验证能力。

九、参考文献及作者简介

参考文献

[1] Z. Wang, X. Zhou, C. Xu, F. Gao, Geometrically constrained trajectory optimization for multicopters. IEEE Trans. Robot. 38, 3259–3278 (2022).

[2] D. Falanga, E. Mueggler, M. Faessler, D. Scaramuzza, “Aggressive quadrotor flight through narrow gaps with onboard sensing and computing using active vision” in Proceedings of the 2017 IEEE International Conference on Robotics and Automation (ICRA) (IEEE, 2017), pp. 5774–5781.

作者简介

巫天越（共同一作），即将前往香港大学攻读博士学位，浙江大学本硕。研究兴趣为机器手以及人形机器人的灵巧操作智能，飞行机器人运动智能。在Science Robotics，Robotics: Science and Systems等机器人领域权威期刊与会议上以第一作者发表文章。

徐广通（共同一作），杭州电子科技大学自动化学院副研究员。2015和2021年在北京理工大学分别获得学士和博士学位。2021-2023年在清华大学精密仪器系从事博士后研究。2023-2026年在浙江大学湖州研究院开展科研工作，此期间完成以上工作。主要研究领域为飞行机器人自主导航、运动规划、集群协同等。在TASE、RA-L、ICRA、IROS等机器人领域期刊/会议上发表论文数篇。

王子晗，华北电力大学工学硕士，进行此工作期间为浙江大学湖州研究院交流生，研究方向为机器人自主系统、决策规划。现有 1 篇研究工作录用于机器人国际顶会 IROS。

林俊晓，浙江大学硕士，即将前往香港大学攻读博士学位。研究方向为机器人系统设计、运动控制以及灵巧操作。在RA-L，IROS等机器人权威期刊/会议上发表论文数篇。

陈天洋，浙江大学控制科学与工程学院在读硕士。研究方向为飞行机器人与视觉-语言-动作模型。

吴钰泽，浙江大学博士，微分智飞青年科学家，发表包括Nature Communications、Science Robotics、T-RO等在内论文近20篇，主要研究方向为VLA/VLN具身导航模型、无人机世界模型和机器人多智能体。

韩志超，浙江大学控制科学与工程学院博士，主要从事移动机器人运动规划、非线性优化、深度学习、强化学习等领域研究。

刘志洋，浙江大学博士，微分智飞公司COO。

高飞（通讯作者），浙江大学控制科学与工程学院长聘副教授、博士生导师，微分智飞创始人。主要研究方向：空中机器人、自主导航、运动规划、环境感知、集群机器人。