微美全息科学院基于虚拟现实技术的车辆远程

摘要：无人驾驶以及人工智能是目前车辆领域的研究热点。考虑试验成本，如何在虚拟环境中进行无人车道路测试成为了新的研究方向。在无人驾驶实验中，需要有驾驶员在试验车辆中保持对车辆的控制能力，这无疑增加了驾驶员受伤的风险。而远程驾驶不但保留了驾驶员对车辆的控制权，也降低了驾驶员的受伤风险。

同时，在移动机器人领域，远程驾驶也拥有良好的发展前景。作为纳斯达克上市企业“微美全息US.WIMI”旗下研究机构“微美全息科学院”的科学家们对虚拟现实技术的车辆远程驾驶技术展开深入研究。现在，VR/AR已触及各行各业，成为产业发展的重要技术。

关键词：虚拟现实；远程驾驶；无人车辆

1引言

随着传感器和机器学习的不断进步，国内外许多乘用车制造商都瞄准了无人化、智能化车辆驾驶的发展方向。车辆自动驾驶技术的快速崛起，推动无人驾驶产业的迅速升温。但是若实现完全的无人驾驶，并投入实际运营，目前还存在许多技术难点，尚不能达到全天候以及非结构化道路行驶，无人驾驶技术从其初步探索，到技术的发展成熟至全面推广普及将需要很长时间。

无人驾驶技术主要面临路况识别、车辆控制以及车辆信息交互等诸多技术的发展限制，并且由此带来的一系列伦理规范、法律责任与监管政策等社会问题也逐渐显现出来。基于人工智能的路况识别与环境感知是无人驾驶最重要的技术之一，车辆需要自主对行人、来往车辆、交通信号灯等进行准确识别并做出相应判断。然而近年来，Uber、谷歌、特斯拉等发生的多起自动驾驶汽车致死事故[7]对目前的路况识别技术提出了更大的质疑与挑战。

图1所示为Uber一辆自动驾驶SUV发生车祸现场。

图1自动驾驶SUV发生车祸

对于无人车辆而言，车辆与现代交通系统、车辆与车辆之间的信息交互也尤为重要。此外，OTA(Over-The-Air，空中下载)作为未来无人驾驶汽车升级车载程序的发展趋势，网络的下载速度、覆盖范围和信号的稳定性等也对无人车的驾驶安全性及使用便捷性有至关重要的作用。由此来看，无人驾驶车辆的发展将还有很长的一段路要走。

远程控制技术从20世纪初第一次被提出，并随着计算机技术、无线通信技术和传感器技术等新兴技术的出现，如今已广泛的应用于海、陆、空等各个领域，影响着人类生活的方方面面。运用远程控制技术，可使机器或设备到达人难以到达的艰苦环境，有效降低工作成本，避免人员伤亡。可靠的导航、有效的运动控制以及定位传感器数据的实时获取是车辆远程控制技术的关键。传统的车辆远程控制技术，是通过从车辆安装的传感器与摄像头传回的画面，由操作者分析当前车辆所处的环境，做出决策对车辆进行姿态调整，实现车辆的控制。由于车辆安装的传感器和摄像头数量有限，可能产生盲区。此外操作者的临场感不强，操作精度得不到保证。通信技术也限制了数据传输的实时性，使得远程操作者对车辆运动姿态的控制无法根据环境变化及时进行调整。

由于远程车辆只能依靠人的行为决策进行运动，但操作者无法全面获取车辆及环境信息，当车辆面对突发状况时，由于缺少一定的自主性，如障碍判断、环境感知等，导致车辆远程控制失败。随着机器学习、人工智能等新兴学科的蓬勃发展，车辆的智能化、自主化程度越来越高，为车辆远程驾驶提供了新的起点。

此外，随着5G网络的发展，超大带宽、超低延时和超高可靠的特性，使数据的实时传输得到有效保证，也为车辆远程驾驶提供了可靠的通信保障。年6月27日，在世界移动大会(MWC)上海期间，中国联通携手爱立信、驭势科技进行了国内首个5G超远程驾驶实车演示并取得成功[13]，如图2所示。

图25G超远程智能驾驶现场演示

虚拟现实技术具有强烈的沉浸性(Immersion)、交互性(Interaction)和想象性(Imagination)，即所谓的3I特点，近年来也逐渐渗透到科技的各个领域。年GTC大会上，英伟达通过将Holodeck包括HTCVive，驾驶赛车座椅和方向盘在内的VR设置，以及安装有远程控制器的一辆汽车相结合，展示出用户如何一边佩戴头显一边远程控制汽车，其展示的一大重点是自动驾驶汽车与AI自动驾驶平台DRIVE。我国由于在虚拟现实环境下的驾驶技术研究较晚，在新的历史环境下，还需要进一步的发展才能逐步缩小与发展国家的差距，从而实现更强、更具有沉浸感的虚拟仿真技术。

年8月，硅谷产品设计公司Design团队开发出了一款能利用HTCVive虚拟现实头盔控制的机械臂，可以允许用户精确而直观的实时控制手臂，并且可以记录自己手臂的运动轨迹，机器手臂在响应命令后可以模拟用户记录的手臂运动轨迹，从而“教”会机械臂实现指定动作。年10月，麻省理工学院计算机科学和人工智能实验室(CSAIL)发明了一种新型虚拟现实头显设备，操作者可以使用OculusRift头盔和Touch手柄来远程控制机器人，甚至还可以使用手动控制器来直接控制机器人的机械臂。

另据外媒年12月报道，NASA和索尼正在利用PlayStationVR开发一个名为MightyMorphenaut的演示应用，用来练习如何控制太空中的人形机器人。年1月，BrownUniversity计算机科学家开发了一款软件，可帮助用户沉浸式观察机器人的周围环境，在千里之外对机器人进行操控。通过互联网，这款软件能够将机器人的力臂抓手、摄像头、传感器连接至VR硬件设备。操作者借助手持控制器，只需移动自己的手臂，便能控制机器人的力臂，从而完成复杂的操作任务。

我国有关企业也在致力于VR远程控制的研究。目前而言，百度公司和上汽集团对于无人车辆的虚拟驾驶研究，处于国内较为领先的地位。

图3为MIT用VR技术远程控制机器人。

图3MIT用VR技术远程控制机器人

国内外通过对VR远程控制机器人、机械臂的研究并取得的一系列成果，使VR远程控制车辆成为可能。将人与远程机械的运动结合，操作者操控远程机械的同时远程机械又具有一定的自主性，从而实现对机械的训练及远程控制。

因此，结合虚拟现实技术，综合现代通讯的发展，并提高车辆的一定自主程度，通过虚拟环境完成对无人车辆的全方位观察和控制，实现车辆虚拟远程驾驶，不仅可以有效解决当前无人车辆面临的环境识别不足、车辆自主控制不准确等问题，而且可以保证车辆安全，也可使操作者具有临其境的驾驶体验感受。

2远程驾驶技术框架

随着数字技术的不断发展，基于虚拟现实的虚拟驾驶技术不断进步。虚拟驾驶技术也从对汽车模拟器的研究，到如今应用于无人车的道路测试及驾驶员的驾驶训练。虚拟驾驶系统主要由控制系统、视景仿真系统、驾驶模拟器以及音响设备、显示器等其他部件组成。其中，控制系统为实物，包括方向盘、油门踏板、刹车踏板和换挡杆，驾驶员通过控制系统改变虚拟环境中车辆的运动状态，视景仿真系统对车辆姿态进行解算，并将车辆信息通过显示器传递给驾驶员，使驾驶员及时感知车辆运动姿态及路况环境变化;驾驶模拟器根据车辆运动姿态的变化调整方位与角度，使驾驶员姿态与车身姿态保持一致，增强体验感与真实性。

车辆远程控制系统主要包括监控终端和车载终端两大部分，系统结构图如图4。

图4车辆远程控制系统结构

车辆的主要位置及姿态信息通过卫星定位和传感器进行数据采集，并以网络传输至监控人员的操作界面上，操作人员对信息进行分析判断并发出相关指令，实现对车辆运动姿态的调整。远程控制系统主要通过无线网络进行信息传输，5G网络的出现对通信延迟性的解决提供了很好的解决途径。

虚拟车是在虚拟环境下通过车辆动力学模型、道路模型、轮胎模型等实现车辆的行驶，而实车是在实际路面上进行行驶。由于建模精度的影响，为保证虚拟车和实车尽可能一致的位姿状态，在分析虚拟驾驶系统和车辆远程控制系统的基础上，建立了基于虚拟现实的车辆远程驾驶技术结构框图如图5所示。

图5车辆虚拟远程驾驶技术结构框图

图5中实车和虚拟车之间的信息采用5G技术实现车间通信。驾驶员通过操控方向盘、油门踏板、制动踏板和换挡手柄等操控系统控制虚拟车辆的运动状态，虚拟车辆通过姿态预判调整实际车辆的操纵，使实车的运动状态发生变化。

若实车状态与虚拟车状态不一致，则通过两车之间的姿态修正模块将数据传递至姿态预测模块，实现对实车的车辆姿态调整。同时，实车传感器采集到的周围环境信息对虚拟车辆所处的虚拟环境进行实时生成，并传递至视觉仿真系统中，通过HTC头盔显示装置将信息反馈至驾驶员，且将车辆由于运动姿态的改变而产生的位姿信息通过驾驶座椅进行体感反馈，保证远程驾驶员具备实际车驾驶的感觉，进一步提升远程车辆行驶的安全性。

操作者头戴VR头显，通过观察头显内虚拟环境中车辆的运动状态与周围环境，对车辆进行相应的操作指令，如操纵换挡手柄进行换挡、控制方向盘使车辆转向等，使真实环境下的车辆运动状态发生相应改变，实现对实车的远程控制。同时为了消除视野盲区，通过在实车上安装雷达、传感器等使车辆具有一定的自主性。与无人驾驶技术相比，车辆虚拟远程驾驶技术没有将人真正的排除在车辆控制之外，而是通过操作者远程发出的一系列控制动作，并通过虚拟环境对实际车辆进行监测控制，既可实现车辆的“无人”驾驶，有效提高远程车辆行驶的安全性能，使驾驶员与车辆分离，又可真正实现车辆的无人化。

3关键技术分析

1)环境实时生成技术

虚拟驾驶环境可以为自动驾驶和虚拟驾驶提供与实际驾驶相近的仿真环境，也可以构造出典型而复杂的驾驶环境。由于其功能的特殊性，运用虚拟现实技术实现驾驶环境的实时仿真，构成多维的、可感知的、可度量的、逼真的虚拟驾驶环境，对于车辆的远程驾驶尤为重要。在虚拟世界中，虚拟世界的物理模型侧重于几何表示，缺少逼真的物理和行为模型，从而使虚拟对象与真实对象之间存在很大的差异。而且虚拟现实技术目前主要研究的是视觉方面，在听觉、触觉、力反馈等的研究还比较落后，这有可能导致人机交互中存在一些局限因素，降低了真实性与实时性。实际驾驶环境具有的复杂性和不确定性等特点，使得虚拟驾驶环境的实时渲染成为一项很大的挑战。

2)基于人工智能的车辆动力学仿真技术

人工智能是计算机科学的分支之一，所包含的领域较多，涵盖机器人、语言识别、图像识别等。随着人工智能研究的不断深入，人工智能逐渐应用到各个领域中。目前，人工智能在车辆中的应用主要用于车辆的自动驾驶，完成对车辆的视觉、语言等信息的识别。而车辆动力学系统的结构较为复杂，系统自由度较多，各组件之间的连接也较多，这增大了在虚拟环境中准确描述车辆动力学性能的难度。基于深度学习的人工智能，应用于车辆动力学仿真模型的研究，虚拟环境下车辆动力学仿真技术的进一步发展具有重要意义。

3)碰撞检测技术

虚拟场景里的模型，包括天空、地面、车辆等对象都是相互独立的，在交互控制过程中，视点(虚拟车辆)可以从各个对象中直接穿过。而在现实生活中，两个不可穿透的物体是不可能拥有一个相同的空间区域，因此，利用碰撞检测(CollisionDetection)可以来判断某个时刻虚拟场景中的不同对象之间是否发生了碰撞。然而，目前的碰撞检测技术尚不满足任意物体间检测的需要，仍较局限于规则的几何凸体，因此研究满足虚拟驾驶环境的碰撞检测技术具有重要的意义。

4)无线通信技术

近十年来，移动通信技术己成为当今应用最广泛、发展最迅速的通信技术。移动通信技术的发展迅猛，使新技术和新业务不断涌现。要想实现在虚拟环境下对现实世界的车辆进行远程遥控驾驶，就必须对虚拟世界和现实车辆的相关数据进行实时传输并及时发送指令。而无线通信技术就像一座桥梁，架起了车辆远程控制系统和监控中心的数据通信之路。利用无线通信网络建立车辆远程控制系统，具有永远在线、网络覆盖范围广、通信资费低、数据传输快、实时性好等的特点。通信技术的实时性、快速性对于调整实际车辆的实时姿态以及应对突发情况都具有重要意义。对于远程驾驶车辆，数据及图画的实时传输尤为重要。因此，如何解决无线通信技术的延迟性、滞后性问题是一关键技术。5G无线通信技术[25]的发展也为车辆远程遥控驾驶的实现提供了更大的可能。

4结语

本文分析了国内外无人驾驶、虚拟驾驶和车辆远程控制的特点，结合驾驶环境多变性，车辆动力学模型仿真精度以及实际驾驶中的沉浸、交互对提高车辆行驶安全性等需求，介绍了虚拟现实环境下车辆的远程驾驶框架，分析了相关的关键技术，叙述了基于虚拟远程驾驶带来的未来发展。