基于VR的自动驾驶仿真测试

基于虚拟现实的自动驾驶车辆测试技术

1 引言

随着传感器和雷达的快速发展，机器视觉技术日益成熟[1]，神经网络算法的融合使自动驾驶技术成为现实[2]。关于自动驾驶安全性的担忧一直是研发部门和社会关注的关键问题。

高安全性被定义为在汽车这类高度复杂系统中具有较低的事故率。由于新系统中存在的问题众多，解决问题往往成本高昂。随着系统逐渐成熟，剩余的问题越来越少，但找到问题解决方案的难度却越来越大。当前自动驾驶技术正处于这一阶段。

不成熟的自动驾驶系统需要大量数据进行优化。目前，这些数据主要来自道路测试，这种方式不仅成本高，而且存在危险性。在碰撞、近距离碰撞、复杂信号交叉路口和环岛等极端条件下，测试很难重复进行[3]。

现在可以通过我们创建的虚拟现实（VR）技术仿真测试环境来解决这一问题。在虚拟环境中重建并模拟真实世界道路测试现已成为现实。

虚拟现实技术被用于通过虚拟仿真来复现真实世界的道路测试。自动驾驶汽车仿真模型的实施可以降低成本并提高安全性。云计算加速技术能够为超过一百万辆自动驾驶汽车进行24小时道路测试[4]。这不仅将最小化成本，而且还能加快开发周期，并实现端到端深度学习[5]。

目前，国内外团队均采用该方法来辅助自动驾驶车辆的开发。由于其在降低成本和加快开发进度方面具有重要意义，该方法正逐渐成为自动驾驶车辆开发的关键。

2016年，谷歌的Waymo自动驾驶团队开发了Carcraft软件，用作自动驾驶开发的加速工具。该团队通过在测试车辆上构建物理通道，重建现实世界，实现数字真实世界驾驶。借助Carcraft，三个自动驾驶测试站点（奥斯汀、山景城和凤凰城）被重建，并投放了>25000个虚拟自动驾驶汽车模型。2016年，测试里程已达到4亿公里[6]。2017年1月，美国交通部指定十个机构测试自动驾驶汽车技术。其中四个机构使用驾驶模拟器作为测试工具[7]。2017年2月，微软开源了用于自动驾驶车辆测试的AirSim系统，该系统可用于测试智能系统的安全性，并帮助研究人员和开发者利用人工智能在现实世界中构建更安全的自动驾驶系统[8]。百度阿波罗的自动驾驶团队为其自动驾驶汽车建立了自主的虚拟驾驶平台，并将其植入阿波罗开放平台。该自动驾驶汽车虚拟仿真引擎基于高精度地图技术构建，旨在服务于自动驾驶系统的测试与部署[9]。2017年初，RealDrive加入宝马的OpenInnovation项目组，并在自动驾驶训练中应用虚拟现实技术。这使得他们能够通过道路测试和虚拟训练解决自动驾驶车辆的决策错误问题。

然而，当前的自动驾驶仿真工作在交通场景建模的真实世界还原方面缺乏高精度。现有研究仅关注模拟特定条件和场景以获取实验数据，而在复杂且广泛的道路交通环境中的仿真尚未实现。本研究通过构建包含车辆动力学模型、传感器模型和交通环境模型的模型库，引入了一个真实且高度还原的自动驾驶汽车仿真测试平台。该平台利用交通环境智能仿真技术，结合AirSim系统和UE4引擎，模拟大规模复杂交通网络。基于该仿真测试平台，实现了控制回路中的硬件在环仿真方法，完成了自动驾驶车辆在各种工况下的仿真测试。仿真结果用于优化自动驾驶车辆控制系统，并初步实现了以虚拟环境中的自动驾驶仿真测试替代道路测试的方法。

2 架构概述

如图1所示，通过虚拟建模构建动态车辆模型、传感器模型和交通环境模型，以在虚拟环境中还原自动驾驶汽车。该仿真模型包含自动驾驶汽车的核心部分。

通过设置不同的工作条件，可以对自动驾驶汽车及其系统的决策进行仿真。建立了用户数据协议，以实现仿真系统与Simulink车辆动力学仿真模块之间的通信。动力学仿真模块计算出的数据将传输至仿真系统，用于控制车辆的估计状态。

通过仿真系统API连接自动驾驶汽车的控制器，实现硬件在环仿真。从仿真中收集的数据用于优化自动驾驶系统，随后对系统进行测试和优化，并重复该过程。另一方面，基于道路测试和虚拟仿真的数据，通过对标分析，在虚拟环境中建立了自动驾驶汽车测试的评价指标和优化方法。最终，虚拟仿真可替代道路测试。

基于特定类型的汽车，在Simulink中采用模块化设计构建了整车动力学模型，以便于集成。在Simulink中建立的车辆动力学模型如图2a和b所示，其中为换挡控制模块的模型。

3 交通环境智能生成

如何使虚拟场景尽可能逼真，是仿真测试中测试人员最常见的问题。然而，使用传统人工方法在虚拟环境中重现几公里真实道路的成本极为高昂，更不用说构建城市道路网络的成本。基于高精度地图的交通环境智能生成能够解决传统人工建模效率低下的问题。

OpenDRIVE是一种描述道路网络逻辑的开放格式规范[10]，在虚拟驾驶测试中具有广泛应用。如图3所示，交通环境智能生成能够自主生成结构化道路和非结构化道路的交通环境。借助高精度地图技术，渲染系统可直接导入并读取标准OpenDRIVE文件，并从OpenDRIVE中提取道路结构数据。

通过查询先前建立的映射关系（如表1所示），可从对应于模型文件的道路元素数据库中获取相关信息（如道路几何、交叉口、车道线、交通标志等）。这些信息被重写至资源库中的地图文件，并供渲染引擎读取和渲染，以构建真实的交通环境。

为实现该目标，我们基于UE4引擎使用C++开发了渲染插件。通过建立虚拟环境模型库，可便捷地还原多样化的交通环境。通过实施环境智能生成算法会根据现实中的合理规则和交通状况，自动从数据库中选择并组合已建立的交通环境。随后，在虚拟环境中重现大规模城市交通网络，并在我们的仿真平台中发挥作用。

AirSim 是由微软公司基于 C++ 语言开发的开源平台。该平台旨在缩小仿真与现实之间的差距，以促进自动驾驶车辆的开发[11]。

基于AirSim系统，通过交通环境模型、传感器模型和车辆动力学模型等仿真模型的建模，利用UE4高精度渲染引擎[12]，构建了如图4所示的多功能虚拟环境自动驾驶汽车仿真测试平台，为自动驾驶车辆提供测试、开发和优化功能。

该平台的设计遵循强调可扩展性的模块化设计。平台由自动驾驶虚拟仿真模块、车辆动力学仿真模块和虚拟环境模型库构成。核心组件主要包括交通环境模型、车辆动力学模型、UE渲染引擎、传感器模型、渲染接口、公共API层以及车辆硬件在环仿真接口层。在仿真过程中，仿真系统提供从虚拟环境中获取的传感器数据，并将其传输至接入仿真系统的自动驾驶控制器。自动驾驶控制器接收期望的驾驶状态和传感器数据作为输入，然后计算出估计的当前状态和控制信号，以调整车辆的驾驶状态。

仿真系统中的模型。随后，将形成一个连接硬件与仿真模型的循环。在此过程中，由于是硬件在环仿真，必须严格保证频率同步。

借助虚拟仿真平台，对自动驾驶车辆在结构化道路环境和非结构化道路环境下的表现进行了测试。测试内容包括自动驾驶汽车在城市道路上完成任务的能力。如图5所示，主要任务包括：自主通过交叉路口、避让行人、超车、设定停车位置、立交桥行驶等。随后，我们对自动驾驶车辆在环境感知、路径规划、高精度定位和自主决策方面的性能进行了测试。

图6 是来自 AirSim 的一个快照，展示了自动驾驶汽车在虚拟现实环境中的行驶情况。插入的三个监控窗口分别显示了传感器模型实时生成的深度信息、物体分割信息以及前向相机拍摄的图像。

5 结论与未来工作

本研究建立了车辆动力学模型、传感器模型和交通环境模型，结合AirSim系统与UE4渲染引擎，在虚拟环境中构建了自动驾驶车辆的测试平台，并采用控制器在环硬件在环方法，完成了多种工况下的自动驾驶汽车仿真测试。与现有的自动驾驶仿真技术相比，该系统采用了可变、复杂且范围广泛的道路网络，具有随机性强和测试里程长的特点，实现了自动驾驶车辆道路测试在虚拟环境中的复现，将对自动驾驶汽车的开发发挥重要作用。

由于虚拟仿真测试基于传感器模型和计算机物理引擎，结果不可避免地存在不准确性。通过实验结果对传感器模型和车辆动力学模型进行修正，以建立更加科学的虚拟仿真测试评价标准。这对于自动驾驶汽车的虚拟仿真具有重要意义。

测试。我们相信，随着这项技术的成熟，自动驾驶技术的开发将进入一个新阶段。