皮皮网

1.AirSim学习笔记（三）Using SITL with AirSim
2.2021 开源驾驶仿真平台测评
3.（解密AirSim-初稿）第一章：初识AirSim

AirSim学习笔记（三）Using SITL with AirSim

       使用AirSim实现SITL的源码详细步骤如下：

       1. 安装虚幻引擎

       1.1.1 下载并安装Epic Game Launcher

       1.1.2 通过Launcher安装Unreal游戏引擎

       1.1.3 安装Visual Studio ，确保选择“桌面开发C++和Windows SDK .0.”选项

       1.1.4 使用Git安装AirSim源码

       2. 测试Unreal和AirSim

       2.1.1 进行环境配置，源码如安装Landscape Mountains场景

       2.1.2 在AirSim根目录下编译源码，源码检查“AirSim\Unreal”目录下的源码“Plugins”插件生成情况

       2.1.3 使用Developer Command Prompt for VS 运行编译后的项目，确保Unreal和AirSim安装成功

       3. 配置背景环境LandscapeMountains

       3.1.1 安装并设置Landscape Mountains场景，源码注意版本兼容性

       3.1.2 在Unreal中新建C++类，源码api工具源码为项目编译生成Visual Studio工程文件

       3.1.3 将AirSim插件复制到LandscapeMountains本地文件夹，源码并修改相关配置文件

       4. 在Windows中构建AirSim

       4.1.1 安装虚幻引擎和Visual Studio

       4.1.2 克隆AirSim源代码，源码进入AirSim目录，源码使用Developer Command Prompt for VS 构建项目

       4.1.3 配置并启动Unreal编辑器，源码完成AirSim环境的源码构建

       5. 使用AirSim

       5.1.1 启动Unreal编辑器并加载预设环境，调整设置以适应SITL使用

       5.1.2 通过遥控器或键盘控制无人机，源码实现SITL与AirSim的源码结合使用

       6. AirSim与ArduPilot SITL结合使用

       6.1.1 设置ArduPilot SITL环境，确保与AirSim兼容

       6.1.2 在AirSim中指定ArduPilot设备参数，源码如IP地址和端口

       6.1.3 启动AirSim和ArduPilot SITL，源码进行多旋翼无人机的模拟操作

       通过上述步骤，可以成功实现使用AirSim与ArduPilot SITL结合进行无人机模拟和控制。请注意在多设备仿真时可能遇到的平台差异问题，并参考相关讨论线程进行调整。

开源驾驶仿真平台测评

       终于，在沉迷论文之外，我开始上手生疏了快一年的实验和代码。一个萌新，空降驾驶决策方向，除了真车以外，最大的吸引力必然来自驾驶仿真器了。想想吧，每天的工作仿佛像是在给GTA V写合法外挂，心不心动？因此，尽管学长们安利了CARLA，但是，既然电脑装得下，我还是决定要把近几年新出的仿真器全试一试，再决定用最好的那个。

       作为一个贫穷的研究人员，我心目中理想的驾驶仿真器是这样的（优先度排列）：

       描绘出理想的模样，就该开始找候选人了。百人30秒游戏源码《年自动驾驶仿真蓝皮书》基本把现有的驾驶仿真器都列举了一遍，经过快速的检查，首先排除以下商业仿真平台：

       CarSim, CarMaker, Cognata, rFpro, VTD, AAI, TAD Sim (腾讯，未找到开放网址), Metamotor (年被收购), GaiA, Sim-One, PanoSim, Parallel Domain (这个的demo是真的好看), CarCraft (Waymo内部使用，不对外开放), VI-WorldSim, PTV Vissim

       许愿一个大佬测评以上软件，如果大家众筹让我测评也不是不可以（手动狗头）。

       顺带一体，所有基于GTA V的仿真器似乎在几年前已经被R星叫停了，考虑到版权因素，应该在有发表需求的研究里是不能用了（但私底下谁不想拿它玩一玩呢）。

       在剔除了海量精美的付费软件之后，清单上剩余的免费/开源仿真器就屈指可数了。

       接下来，将从应用场景，用户体验，安装难易度等方面对这些软件进行测评，部分仿真器提供视频展示（流量预警）

       测试环境：Ubuntu . + CUDA .2 + NVIDIA Driver ..

       硬件配置：i9-X CPU + GB RAM + RTX Super GPU (8GB)

       警告 CARLA

       仿真器简介：Carla是一个开源的驾驶仿真器，由C++ 和虚幻引擎构成。通常适用于驾驶决策仿真任务。可输出的数据模态包括图像，激光雷达，雷达，语义，GPS，IMU等，可自由配置。

       安装指南： CARLA Simulator

       Carla官方的安装文档已经非常成熟了，如果只是运行仿真器，下载可运行程序就够了。想自己折腾的就从源码开始编译，我写文章的时候0.9.还不够稳定，推荐0.9.，无脑跟教程走只会遇到一个bug。就是make build的时候libboost目前调用的是1..0版本：

       首先，你需要手动下载boost-1..0的压缩包；其次，如果你在编译过程中遇到了什么字符相关的大话西游2源码免费下载库找不到的报错，可能是因为boost-1..0某些版本中这个悲伤的bug导致的，就是自定义的函数命名和默认C语言库起了冲突（大致是这个原理，具体细节还请放过一个三年没写C的孩子）。处理方法要参考 这里，解压boost-1..0，将自定义的string.h 和调用这个库的所有地方改成其他名字，然后再打包，扔到/Build 下面；最后，记得在/Util/BuildTools/setup.sh 的对应行进行修改，以防build过程中自动删了你改过的包。

       如果是走Linux Build路线又想要可直接运行的./CarlaUE4.sh，在make launch成功后跑一下make package就行了。这一个细节不知道为什么官方文档上写得不是特别清楚，可能是他们觉得太简单，我们可以自行领悟吧。

       用户体验：

       在体验完一圈驾驶仿真器之后，看到CARLA我真是感动得泪流满面，简直是出走后四处碰壁的游子回到了温暖的家。经典果然还是经典，CARLA的动力学仿真确实是所有仿真器中最正常的，天气系统和NPC的行为也非常正常，应该是一直在优化的。基本上驾驶决策常用的数据模态都有提供（事件相机和红外相机没有，这是AirSim的独门绝技），获取也很方便，总之一句话，赞美CARLA。

       仿真器展示：

       SUMO

       仿真器简介：SUMO 全称 Simulation of Urban MObility，是一个开源的驾驶仿真器，主要用于交通流仿真，也可用于车间通讯仿真、验证交通模型等任务。

       安装指南：sudo apt-get install sumo sumo-doc sumo-tools

       仿真器部分功能展示：

       最开始，看到这个软件简陋的界面时，我以为大概没什么好说的，然而，小程序漫云家政源码下载很快，我看到了前人的SUMO使用心得。对不起，是我头抬得太高了。

       SUMO仿真文档_妈妈说不要造轮子-CSDN博客

       SUMO使用技巧_妈妈说不要造轮子-CSDN博客

       由于SUMO的仿真任务和我没有太大关联，而且仿真大程度上依赖于用户自己导入的数据，而我手头暂时没有，所以就放一张从 OpenStreetMap导入到SUMO的地图吧～

       看起来很简陋？放大地图后，每个路口的细节都标注得一清二楚。我开始心动了。

       而从年开始，CARLA开始支持和SUMMO，VISSIM 联合仿真。我觉得自己好了，自己行了，下一期测评就它吧（如果没有教程的话可以考虑写一版了）。

       MATLAB - 自动驾驶工具包 & RoadRunner

       码着，过两周有空再写。计划要用RoadRunner和CARLA快乐联动，不过好像地图太大会导入事故，反正卫星先放着。

       LGSVL

       仿真器简介：这是由LG公司基于Unity开发的驾驶仿真器。适用于驾驶决策任务。输出的数据模态包括图像，激光雷达，雷达，语义，GPS，IMU等，可以通过json文件自由配置。

       安装指南： Installation procedure - SVL Simulator

       确认配置符合要求之后，直接下载即可。Linux下记得右键性质，允许程序运行。

       用户体验：

       从可视化交互界面来说，LGSVL是转转源码小7网络做的最好的。一键变天，一键加传感器，包括上传代码，全部可以在网页界面完成。但是呢，车的动力学着实有点迷惑，您的车是完全没有摩擦力的吗？按下前进键之后，即使松开，地面也仿佛没有摩擦力一般，车辆会一直保持匀速前进。但是如果想用这个仿真器来做模仿学习，录入数据大概会很痛苦。点云的仿真很有问题，肉眼可见的有误差。npc也是非常迷惑，比如，骑自行车的人比开车的还快；过马路的时候只要绿灯了，npc车辆就直接从npc附近碾过去。而目前还没有提供改npc的接口。此外，目前提供的地图还太少了。如果再过几年，可能会成长成一个厉害的仿真平台，目前只能持观望态度了。

       Apollo

       仿真器简介：由百度-阿波罗开发的驾驶仿真平台。少数既可以在线仿真，也可以自己电脑安装运行的仿真器。适用于驾驶规划仿真，路径预测等任务。

       安装流程：

       用户体验：

       革命尚未成功，同志仍需努力。离成为一款成熟的仿真器，Apollo还有很长时间要走。官方提供的场景比较少，大型地图屈指可数，文档支持也不够完善。封装得比较严实，不过改地图，放npc的自由设置空间还是有的。再过几年，还是有潜力成长成一个优秀的仿真器的。

       仿真器展示：

       AirSim

       仿真器简介：由微软开发的仿真器，基于虚幻引擎。主要面向无人机仿真，也提供了驾驶仿真的接口。适用于驾驶决策仿真任务。输出的数据模态包括GPS，IMU，RGB图像，深度图，语义分割，红外相机，事件相机，点云（需要额外配置）。

       安装指南： Welcome to AirSim

       用户体验：

       这款仿真器更适合Windows系统用户。Github上提供的地图适用于驾驶仿真的寥寥无几，而虽然AirSim可以从 Unreal Engine Market中获取更多可用于自动驾驶的地图，其中绝大多数都只兼容Windows，最终导致在Linux中适用于自动驾驶任务的只有一款非洲大草原。

       仿真器展示 启动任意地图都会加载setting.json 文件的配置，子窗口的内容需要按0 才会显示。

       SUMMIT

       论文： SUMMIT: A Simulator for Urban Driving in Massive Mixed Traffic

       适用任务：驾驶决策仿真

       输出数据：RGB图像，点云，深度图，语义分割，碰撞判定等，CARLA有的它都有。

       安装指南： Ubuntu .安装基于CARLA的SUMMIT无人驾驶仿真平台

       不建议在.上安装，可能会因为clang版本出现大问题。Ubuntu ./.挺好的。

       用户体验：

       在测评开始之前，我期望值最高的一款仿真器就是SUMMIT，按照论文所宣称的，这是“CARLA的改进版“，”能够模拟更为复杂的交通情况“，”利用SUMO轻松导入世界地图“。而实际情况呢？这款软件很大程度上照搬了CARLA 0.9.8，对应了两年前的UE4.，这一前置条件已然导致了虚幻引擎在现有的Ubuntu上闪退概率更高。而在我千辛万苦装上之后，原创的demo程序一个也跑不起来，根据写得奇烂无比的官方文档——我第一次看到民间教程能比官方写得更详细靠谱的，只能模模糊糊猜它的地图导入方法——依旧繁琐复杂。最终，不祥的预感在我查到了论文的发表时间时达到了顶峰，年ICRA accept，大概从投稿之后，作者就没有再积极地维护过整个路径，最新的更新（.）只是改了改依赖的SUMO版本和PythonAPI中的小细节。可以看出，作者根本没有随着引擎更新和CARLA更新进度改进仿真器的动力。对于任何试图长期使用这款仿真器的人来说，这都是一个危险的信号。

       Udacity

       Term 1 - 车道保持；Term 2 - 轨迹定位 & 追踪；Term 3 - 高速场景下的轨迹规划。

       适用任务：驾驶决策任务体验与教学

       安装指南：

       如果顺利的话，会看到这样的界面，选择分辨率和画质，然后就能开始仿真了。

       用户体验：

       作为一款和在线课程绑定的驾驶仿真平台，Udacity的优点和缺点都很明显：安装最为方便快捷，几乎对电脑配置没有要求。另一方面，场景少得可怜，动力学模拟差到悲伤。只适合用于了解自动驾驶决策模型的设计原理和流程，无法实际应用。

       此外，Udacity有一个致命问题，它在Ubuntu下并不稳定。我是并行安装所有平台的，结果刚打开最先安装好的Udacity，它就快乐地崩了，电脑重启，我+GB的内容全部得重新下载（╯－＿－）╯╧╧

       TORCS

       适用任务：驾驶决策任务体验与教学

       仿真器简介：TORCS本职是一款游戏，但是优秀的前辈们通过各种蛇皮操作，让它同样可以应用于驾驶仿真中。最开始，我对TORCS非常嫌弃，这都年了，怎么还有人会用这种分辨率的软件。但是，考虑到现实中，很多本科生是买不起显卡的，而这是为数不多不需要显卡就能跑的仿真器，还拥有过相当大的用户基数和多样的地图库，所以，对于特定人群来说，这个仿真器恐怕还是无可替代的。

       安装流程： Ubuntu.搭建 TORCS无人驾驶训练 开发环境

       gcc版本如果太高会编译失败，我用gcc-5过了，注意，Ubuntu .不支持低于gcc-7的版本。

       仿真器展示：

（解密AirSim-初稿）第一章：初识AirSim

揭示AirSim的神秘面纱：第一章 - 初识AirSim世界

       AirSim，这个由微软于年推出的开源跨平台无人机与无人车仿真平台，以其卓越的物理和视觉仿真能力在AI研究领域崭露头角，特别是深度学习的探索。它以虚幻引擎的强大基础为依托，支持PX4和Unity平台，为用户提供沉浸式的体验。虽然AirSim的原始版本已停止更新，但它的接力棒已交给更安全、易用的"Project AirSim"，后者正成为新的研发焦点。

       AirSim与虚幻引擎的紧密关系就像血脉相连，作为引擎的扩展插件，虚幻引擎在游戏开发与模拟领域的广泛应用使得AirSim的潜力得以充分发挥。在踏上AirSim之旅之前，确保你的设备拥有足够的性能，比如Windows /的6核处理器和NVIDIA GeForce RTX 显卡，虽然Linux支持，但推荐Windows用户，本书的所有实例都将基于此。

       对于Linux用户，Epic Games程序的兼容性可能略有挑战，最佳实践是先在Windows上创建场景工程，再进行复制。性能的关键在于硬盘读写速度、CPU和显卡的性能，初次编译"Blocks Landscape Mountains"环境可能需要耗时分钟。虽然AirSim v1.8.1已停止更新，但旧版本依然可以免费获取，推荐使用Visual Studio Community ，它是免费且功能强大的开发工具。

       安装流程开始于选择所需组件并登录微软账号，其中首要步骤是安装虚幻引擎。访问官方网站，通过Epic Installer免费下载虚幻引擎，登录Epic账号后，选择"虚幻引擎"选项，即可开始学习和获取相关资源。

       虚幻引擎的库管理功能强大，支持多种版本如4.、4.、5.1等，安装后，你的桌面会添加一个快捷方式。通过"设置为当前项"选项，你可以将其设为默认引擎。"引擎版本"、"我的工程"和"保管库"分别显示了安装的版本、创建的工程和购买的场景，提供了"创建工程"、"添加到工程"和"安装到工程"等一系列操作选项。

       在使用Epic Games启动器时，为了保证兼容性，建议设置语言为英文，避免中文路径可能导致的问题。一旦虚幻引擎安装完成，接下来就是通过git获取AirSim的源代码，然后在VS命令提示符中进行下载、编译和生成Plugins文件夹的步骤。

       在"Block Environment"中，你可以测试安装配置。打开AirSim\Unreal\Environments\Blocks，运行update_from_git.bat，启动Visual Studio ，选择"DebugGame_Editor"和"Win"模式，启动调试，你将看到四旋翼或小车在眼前。这标志着你的AirSim安装已成功。

       在AirSim的世界里，你将看到一个主面板，包括菜单栏和工具栏（停止仿真）等功能。后续章节将深入剖析每个面板的细节。关闭虚幻引擎时，Visual Studio会自动停止调试。至此，你的AirSim之旅已经开启，可以开始进行激动人心的仿真体验了。