Unity自动驾驶仿真

2018-10-28 文章创建

2019-09-09 第一次更新

关于自动驾驶仿真,以前的博客已经有过一个概略介绍,,比较偏向理论层面,参见此处。 本篇主要关注基于Unity的自动驾驶仿真开源资源,从wiki和其他网络资源收集而来,重点放在工具总结上面,希望可以作为一个粗略的资源列表。

为什么要做一个新的模拟器

市面上有一些优秀的商业软件,如Prescan,VTD等,但它们非常昂贵。也已有一些开源项目,但它们往往不是基于现代引擎开发的,因而它的图形和通用软件环境可能有些过时。所以就自己搭建一个吧,搭建时需要注意以下几点:

  • 不要重复造轮子,要在游戏引擎的基础上构建
  • 要利用成熟的3D游戏工作流、技术、硬件和技术社区
  • 开源
  • 要有可扩展性
  • 要模块化(包括各种输入输出设备,AI,传感器等)
  • 能足够灵活进行原型设计,驱动评估,自动测试

为什么选择Unity

因为它是Unity,就是这么简单,好吧,我们认真来说,因为Unity

  • 版本迭代稳定,目前已到第四版本
  • 已经有很多基于Unity的项目,有众多游戏和开源项目使用的都是Unity
  • 集成有动画、粒子系统、导航网格、物理、occlusion等各种功能
  • 可以使用C#,Mono等成熟的脚本
  • 可以在win/Linux/Mac等多平台上使用
  • 有良好的社区氛围(众多开发者和素材)
  • 有好的文档支持,包括但不限于官方文档,论坛,第三方教程,youtube等
  • 是创新硬件产品的首选平台(Oculus Rift一种虚拟现实设备, Hydra Razer体感控制器, Leap)
  • 免费/价格较低
  • 不开源,但是可扩展(编写脚本,low level dll等)

为什么建立在游戏平台上

游戏是3D软件中最先进的一种形式,它会不断挑战极限,不断为引擎加速迭代代码。功能如可编程着色器、物理引擎、预照明、导航网格、动画混合系统都是等等都是游戏引擎支持的,或者可以让以实时帧率运行。游戏产业也推动了硬件创新,比如英特尔的GPU开发、罗技G27车轮、TrackIR头部跟踪器、Leap手势传感器、Oculus Rift和低延迟传感器等输入控制器硬件。利用这种低成本的硬件进行模拟也将允许更多的观众访问功能合理、价格合理的模拟器。

资源 环境搭建

地形构建

对自动驾驶仿真来说,这一项也是比较重要的,它类似于Open系列中的OpenCRG。地形结构会影响自动驾驶的规划尤其是控制算法的实现。

  • Terrain Toolkit,Youtube视频
  • WorldComposer,可以从真实环境中构建数据
    城市(建筑物)构建
  • CityEngine 快速生成城市模型的软件,功能很强大。另外该软件生成的模型可以导入到Unreal中,以此来实现大规模的自动化场景构建
  • ViziCIties 它使用了开放地图数据,结合3d生成的建筑物进行缩放,混合了从英国政府、环保机构到Twitter等各种来源的大数据。
  • VTP 主要用于基于路网建设的城市,支持较多道路设计文件格式。
    路网(道路)构建
  • Road Architect 以动态交叉口、桥梁等多种道路物体为特色,是非常专业的道路建设软件
  • EasyRoads3D 特点是能建立众多跟道路相关的对象如栅栏,墙,树等。
  • 从OSM中直接导入较为困难,可以考虑OSM-CityEngine-Unity3D 的工具链
  • 从点云信息,3D地图建立,发展中。

建模(具体建筑物、车辆等)

Unity本身并不是一个建模工具。它是一个“场景装配”工具和实时游戏引擎。所以详细的3D建模一般都需要在其他工具中完成。

Unity中现成的素材可以很容易地统一起来。在“3D Models Category of the Unity Asset store”里可以用免费或很少的钱购买到Unity中的大量产品。:如果你正在寻找一些相关的模型,在资产存储搜索“pack”,例如. Vegetation pack, City pack等等。作者还将提供一个在线演示的基于嵌入式网页unity播放器的demo等。对于资源包的搜索,网上有大量的整理博客,这里就不再赘述了。当然,你也可以自己建模解决问题。

交通流架构

交通流对自动驾驶仿真来说是极其重要的,自动驾驶车终究不能永远活在实验室里,它终究要上路,要面临那些复杂的工况。所以交流通仿真在构建测试场景中是极其重要的。

一些online资源网站
关于交通流仿真的书
  • 《Fundamentals of Traffic Simulation》
  • 《Verkehrsdynamik und -simulation: Daten, Modelle und Anwendungen der Verkehrsflussdynamik》
  • 《Traffic Flow Dynamics》
    非Unity的交通流仿真工具
  • PTV VISSIM
    • PTV VisWalk可以提供给行人仿真(包括人群,对象,路径规划,冲撞避免等)。
    • PTV Balance提供了基于绿波的实时交通数据的自适应信号控制,
    • PTV Optima 大规模交通可视化,态势感知,预测,事件检测。
    • PTV Visum Safety 事故数据分析与检测,分析事故集群。
  • SUMO
    SUMO是一种开源的、微观的、多模式的交通模拟仿真器,它允许模拟由单个车辆组成的给定交通流如何通过给定的路网。该模拟允许处理大量的交通情景。它是纯微观的:每一辆车都被明确建模,有自己的路线,并单独通过网络移动。

假如你下载SUMO的包,你会发现它包含许多除去SUMO之外的应用,这是用来导入和预处理路网的,以及它能为SUMO提供一些前期数据准备。

Unity自带的交通流工具
  • iRDS
  • UnitySteer
  • Auto21 Traffic Modeling and Simulation
  • Verkeerstalent

天气天时架构

Unity中提供了一些简单的天时控制和天气控制,这是构建静态环境时必须去考虑的重要因素。

天时特点
  • 太阳位置(仰角,方位角)控制
  • 阳光的颜色和强度由角度和大气散射调制
  • 太阳在低角度会产生眩光效应
  • 天空背景沙河动画(或者至少白天黑夜之间有差别)
  • 通常至少有几个云层
  • 云可以由程序生成和形成动画
    天气特点
  • 降雨效应
  • 地面效应(滴溅系统、颗粒系统)(积雪融化)
  • 更多效果(吹风,树叶降落)
  • 闪电和纹理(有疑问,不懂)
  • 各种天气的声音

车辆&物理(动力学)

这部分资源素材可能是限制Unity仿真能力的重要瓶颈,对于Untiy3D的兄弟,Unreal,它们集成了carsim和trucksim插件,所以可以复用高精度动力学模型。但Unity目前还没有针对这一项的典型手段。

NPC触发

与典型场景格式一样,离不开三种方式。即

  • 时间触发
  • 特定位置触发
  • 条件触发

传感器仿真

仿真自动驾驶时,传感器仿真是不可或缺的,radar、Lidar、camera、IMU、GPS,甚至UltraSonic Radar都需要进行传感器仿真,关于这块的内容,可以参考lgsvl的代码实现,

数据记录

仿真的另一个终极目的还是要打通数据链,即完成从场景数据到仿真系统再到数据记录和评价结果的一整个链条。在这个过程中,Unity可以提供方便的手段来辅助完成数据记录。(待补充)

其他的开源项目

  • C.I.T.Y. Simulator in Unity
  • CASA
  • lgsvl

当前的几大车企也都有自己的驾驶模拟实验室,各自服务于不同的研究工作。比如Stanford REVS/CHIme。研究的最初目标是为了人机共驾的问题,即去研究人机长时间共驾时以及驾驶任务切换时的驾驶员状态。

0%