“腾讯自动驾驶仿真技术总监孙驰天：数字孪生仿真加速自动驾驶落地”

9月28-29日，2021年“东方风起航、智能驾驶过渡——中国车谷2021智能车产业创新快速发展论坛”在武汉市召开，会议以智能驾驶为主线，以一个主论坛+六个平行论坛的形式，

在9月29日的“智能驾驶测试与评价技术”第五分论坛上，腾讯自动驾驶模拟技术总监孙赤城天发表了主旨为“通过数字双胞胎模拟加速自动驾驶落地”的演讲。 复印件如下。

腾讯自动驾驶模拟技术负责人孙跃天

今天我很荣幸地借此机会与大家分享腾讯在自动驾驶和智能交通行业使用数字双技术进行模拟加速的情况。 今天，我们可能会专注于实际遇到的问题，以及具体如何处理这些问题的细节。

首先简单介绍一下，腾讯是众所周知的，但你可能认为腾讯的自动驾驶部门还不为人知。 我们也确实低调，所以我们成立了五年。 其实腾讯的自动驾驶部门这五年都集中在一个事件上。 为了给自己定位自动驾驶研发落地的工具箱和油门，我们的部门集中在四个方向。 基于数字双人技术，基于腾讯游戏技术的虚拟仿真系统tad sim； 二是车端全栈算法( tad pilot )； 第三个是tad cloud。第四个是高精度地图服务。

最早使用自动驾驶部门的是腾讯地图，我们从腾讯地图开始绘制腾讯的高精度地图，然后开始自动驾驶，年正式成立了自动驾驶业务中心，正式开始了自动驾驶业务相关的业务。 近年来，我们也搭建了三位一体技术平台、高精度地图平台、云开发平台和虚拟仿真平台。

无论是在我们自己内部进行自动驾驶开发，还是与腾讯合作伙伴进行交流联合项目，这几年我们明显感受到了两个落地课题。 一是感知算法所需的培训数据集，全球各科技企业每年投入大量金钱进行数据采集和标注，每年10亿美元级，这个价格对所有科技企业来说都是比较大的消费。 第二个测试验证，测试验证的安全性，时间和金钱，这个大家都很清楚。 现在我要就ota谈一下要点。 工信部在这期间提出了要求。 今后，互联网连接车将不再允许自动ota，由监管机构对ota的所有算法进行验证。 这样的要求对自动领域算法验证测试平台提出了更高的要求。 可以想象，今后的自动驾驶算法在通过ota升级时，一定需要由第三测试机构进行验证。

当然，要采用模拟来处理刚才提到的问题，一定要基于模拟平台。 腾讯花了四年半的时间建立了这样的虚拟仿真平台。 我们的目的是建立类似电影《头号玩家》的绿洲系统。 前几天有一部新电影《暴走玩家》，就是这样的概念。 那么，我们做什么工作？ 我们总结了四种模拟的核心能力。 1、关于场景的几何复原，要点是场景的三维复原，通常基于三维重建技术。 当然，各自的技术路径不太一样。 恢复三维场景后，我们的目的是执行传感器模拟，基于各种物理模型进行精确的传感器模拟。 这个传感器模拟的准确结果也是基于现实世界的精确复原，这才能得到比较精确的传感器结果。 2、关于场景的逻辑复原，这里涉及动态场景的要素生成，如何非常准确地复原现实世界的运动逻辑3、场景的物理复原，主要面向控制算法和动力学模拟，这里是车辆动力学模型计算、摩擦力、轮胎模型计算 4、在云上同时运行的理由也比较明确。 我们现在必须面向测试场景库的订单远远大于以前的adas订单，在本地无法达到这个目的。

我们花了四年半的时间制作了这样的面向自动驾驶系统的tad sim。 我们基于高精度地图构建三维环境，从实到虚映射世界，其中基于真值系统恢复场景元素和属性，同时使用算法和训练测试的中间环节。 此外，许多动态元素有助于生成我们各种测试的场景。

更多信息，让我们先来看一下恢复测试区域静态场景的测试工作。 首先，基于实际场景进行了标注，为了降低标注价格，同时大大丰富数据集的场景，构建了一系列的工具链。 一个是场景生成的算法，另一个是场景识别的算法，这两个算法是闭环相互提高的迭代方法。 我们将纯粹的虚拟数据转换为具有100%正确标记的数据(图像、点云)。 基于这些我们转换的、具有完全准确标记结果的数据集训练了感知算法。 感知算法的提高还进一步提高了基于收集数据生成虚拟世界三维场景的工具链的效率，所以目前这个工具链我们已经跑了三年半了，无论是转换效率还是生成效率都很高。 目前，我们也通过该系统，不仅在自动驾驶模拟方向上建立了静态场景，还在更广阔的智能交通应用方向上建立了市级交通场景。

在场景的云中进行三维重建时，数据存储的价格和计算价格非常高。 那么，有处理这个问题的方法吗？ 是神经互联网和多源地理数据相结合，大规模自动生成场景。

我们生成城市场景的时候，云支持也是重要的下拉式工具。 生成500平方公里左右的城市，我们大概需要22个小时。 如果放入信息云，可以在一个小时内生成。 重要的是基本价格为零，唯一的费用是电费。 只有这样，这样的方式才能很大程度上满足城市建模的诉求。

让我向大家展示一下，在测试体系建立时，我们面临着如何恢复动态场景，即如何积累场景库的问题。 我们开发了tad sim单体版和云版。 这两个系统用了这么久，其实还面临着一点挑战。 最核心的是真实性问题。 我们的交通流模型进行了很多探索，包括与大学合作的、自研的交通流模型、基于规则的、基于神经网络的等，还致力于探索如何将现实世界的交通场景映射到虚拟测试的环境内部 目前，我们考虑的路径是实际交通的实时数据，以及与雷电成像一体的交通流提取，通过这两者的结合，有效地补充了实际的交通模拟场景库，提高了自动驾驶模拟场景库的真实感

谢谢你。