3.5　虚拟与混合现实技术的应用

近年来，通过仿真系统加速自动驾驶系统测试已经得到国内外企业和学术界的认可，成为自动驾驶系统开发和验证的重要组成部分。现阶段，最先进的仿真系统都借助计算机图形学，以及物理游戏引擎渲染真实感的三维模型来生成测试驾驶场景，但这种方式具有一些局限。其创建的虚拟模型和车流运动仍然需要手工修正与处理，将消耗大量时间和人力成本。建立的场景越精确、越逼真，花费的人力成本会越高，也越费时。此外，通过游戏引擎渲染得到的CG（Computer Graphics）和实景拍摄图在丰富性和真实性上还有差距，导致通过CG训练的自动驾驶算法在实景上效果变差。针对这些问题，业内展开了如何借助虚拟现实和增强现实的技术将现实世界的路侧/车侧数据叠加到仿真场景内用自动驾驶系统测试的研究。国内几大高校的在读博士生研发的增强自动驾驶仿真系统（AADS）突破了现有仿真技术存在的许多障碍，提供了有效的解决方案。AADS包含一套全新开发的基于数据驱动的交通流仿真框架和一套全新的基于图像渲染的场景图片合成框架，在获得真实感的车流移动和场景图像之后，系统地利用增强现实技术，可直接、全自动地创建逼真的仿真图像，能够消除现有仿真系统中游戏引擎渲染图片与真实图片之间的差距，如图3-13所示。

图3-13　AADS增强自动驾驶仿真系统

逼真的道路场景来自实际采集，即使用激光雷达（LiDAR）和相机扫描街景，然后根据获得的轨迹数据，为汽车、行人等生成交通流，并将其合成到背景中。同时，合成图像还可以基于不同视角和传感器模型（LiDAR或相机）进行再合成，最后应用于自动驾驶测试。

随着自动驾驶系统针对的自动驾驶等级的提高，实车测试所需场景也越来越复杂，这对参与测试的环境车辆及测试场地均提出了更高的要求。此外，为了提高针对自动驾驶系统的测试覆盖度，需要大量差异明显的测试场景，甚至包含极限场景，这提高了自动驾驶系统测试风险。需求驱动变革，随着5G技术的不断成熟与普及，虚拟现实技术也逐步应用到整车在环的虚拟场景注入自动驾驶测试方法中。2020年6月公示的一些技术发明描述了新方法的工作流程，具体介绍如下。

① 获取测试用例，生成所获取测试用例的虚拟场景。

② 实时测量车辆的实际车辆位置，将实际车辆位置转换为车辆在所述虚拟场景中的虚拟车辆位置。

③ 向车辆注入所述虚拟场景。

④ 获取车辆采用被测算法在测试场地行驶过程中基于虚拟车辆位置与所述虚拟场景互动所产生的车辆行驶信息及虚拟场景互动信息。

⑤ 根据所述车辆行驶信息及虚拟场景互动信息对所述被测算法进行测评。

其中，对虚拟场景的定义包括在虚拟地图中的虚拟障碍物，向所述车辆的道路信息获取传感器输入所述虚拟地图的虚拟道路信息和向所述车辆的障碍物信息获取传感器输入所述虚拟障碍物的虚拟障碍物信息，具体包含：基于所述虚拟车辆位置，将所述虚拟障碍物在虚拟场景中的坐标转换为车辆坐标系内的与车辆的相对位置；基于所述车辆的障碍物信息获取传感器的探测参数，根据虚拟障碍物在车辆坐标系内的相对位置，确定关于虚拟障碍物的传感器检测信息；将所述传感器检测信息作为所述虚拟障碍物的虚拟障碍物信息输入所述障碍物信息获取传感器。实车执行被测算法，基于所述虚拟道路信息和所述虚拟障碍物信息控制实车在测试场地进行行驶，获取行驶过程中的车辆行驶信息；基于虚拟车辆位置将所述车辆行驶信息转换为所述虚拟场景中的虚拟车辆行驶信息，确定所述虚拟障碍物的互动信息；将所述虚拟障碍物的互动信息作为虚拟场景互动信息，最终将实车位置映射为虚拟车辆位置。同时，借助增强现实技术，可以将虚拟场景信息结合真实测试道路场景通过显示器展示，显示器包括但不限于计算机显示器、虚拟现实眼镜、增强现实显示或车载抬头显示界面，可以由实验操作人员对自动驾驶系统的控制效果进行初步主观评判，评判结果包括：当前操作是否合理，当前操作是否引起驾驶员恐慌等。在国外，密歇根大学Mcity测试机构也进行着类似的研究，Herry Liu教授带领着他的团队，借鉴视频游戏技术和其他虚拟技术，创造了一个增强现实世界，实现测试机构内的真实车辆可通过网联汽车通信技术，实时与计算机创建车辆互动，从而提出了一种更快、更有效、更具经济效益的网联汽车和汽车自动驾驶测试方法。