“智行者张放：自动驾驶大脑开发及应用”

9月28日-29日，“中国车谷2021智能车产业创新论坛”隆重举行。 本次论坛由武汉经济技术开发区和东风汽车集团有限企业共同主办，武汉市智能车产业创新联盟和盖西汽车共同主办，主要围绕智能车创新快速发展的主题展开，包括人机驾驶、地图定位、人工智能和芯片、仿真 以下是智行者联合创始人、研发副总裁张放的发言。

你好。 我是智能行者张放。 很高兴在这里和大家分享北京智能行者从事自动驾驶脑的研发和落地应用。

我们开发的自动驾驶大脑，其实是以制定数据驱动全场景全工况的自动驾驶批量处理方案为核心的。 其中有一个中心词叫全场景全情况。 我们理解的所有场景的全部情况包括以下三个场景。 一条是开放的结构化道路，左下角的视频展示了武汉市公开道路的高峰时段的运营场景。 在武汉东风汽车企业导航项目的支持下，目前运行着约20辆robotaxi。 另外，今年年底将在北京、武汉、苏州等地运营100多辆自动驾驶出租车。

二是半封闭、非结构化的场景，如小区、公园等。 第三个是3d越野场景。 我们想建立统一的自动驾驶脑，实现全场景、全工况的量产落地。 自动驾驶大脑的核心有三个模块，首先是自动驾驶的软件操作系统，第二是自动驾驶数据闭环系统，第三是自动驾驶中央计算单元。

为了实现统一的自动驾驶脑，有效地分配到不同的场景，我们设计了高凝聚、低耦合的系统架构，保证了不同场景的功能复用和快速开发。 在车侧，解除业务功能和基础功能的连接。 业务功能第一是解决与场景和业务密切相关的任务，如轿车、商用车相关的编队行驶任务、与清扫车相关的调度和清扫任务、特殊行业相关的侦查任务。 在基本软件这个模块中，解决与自动驾驶最密切相关的行走功能、各个层面、功能软件、系统软件、硬件平台是首要的。

功能软件是系统方案最核心的模块之一，包括与自动驾驶算法相关的感知、定位、预测和计划控制等模块。 系统软件层包括服务层、中间件和操作系统。 基础的硬件平台主要包括自研的自动驾驶中央控制器、组合导航设备、传感器等。 在云中部署了包括数据管理平台、模型平台和评估系统在内的数据闭环系统。 我们将在云中部署我们的场景库，并将判断工具也放置在云中。 此外，还可以为用户提供非常丰富的工具链，如挖掘车端小数据的工具、如何高效挖掘高价值的场景数据、绘制高精度地图的工具、传感器的校准同步工具等。

第一部分介绍avos自动驾驶软件操作系统。 这是一个全栈的自学习算法和软件。 首先是环境识别模块。 在下一代系统方案中，设计了以高精细摄像机为主，固体激光和毫米波为辅的车规级传感器配置方案。 希望通过这样统一的技术方案，通过robotaxi和l2+的硬件体系结构和软件体系结构，实现数据统一和数据闭环。 然后，通过多传感器融合算法，实现客观世界的统一、准确的物理描述。 在定位建设图纸方面，智行者首次公布了软硬件一体化的融合激光匹配批量定位处理方案。 通过自研的高精度地图绘制技术，在云中实现全天候并行流水线式的施工图，可以将施工图精度控制在10厘米以内，也可以在云中不间断更新。

我们知道在计划控制方面，无论是感知还是预测都有一定的不确定性。 为此，我们提出了纵横耦合的概率建模方法，提高了对不确定性问题和极端情况的解决能力。 另外，由于数据流在自动驾驶的不同软件环节需要一定的时间，我们提出了基于时间同步架构的车辆控制做法，弥补了数据流在车辆控制方面的滞后。 最后为了提高调试和测试的效率，智能行者自制了忠实度高的仿真系统，包含数百个测试场景，涵盖了包括城市、高速案例在内的大部分典型场景。 最后通过自动化调度，实现数据初始化、过程监控、结果输出的整个闭环过程。

在多源融合感知水平下，可以分割各种模块为顾客服务。 激光检测模块主要是解决基于3d点云的目标检测。 理解含义首要解决栅栏、路障、可通行区域等含义新闻。 视觉检测涵盖了通用障碍物的2d和3d检测、信号检测和车道检查等方面。 另外，感知层包括毫米波检测模块和多传感器融合模块。 最后基于硬件同步触发的方法，实现了多源传感器的高精度时空同步，实现了像素级的空间同步和毫秒级以内的时间同步。

高精地图设计了从数据收集到地图分发的完全自动化的pipeline。 具有以下优点。 第一个价格比较低，不需要专用的地图收集车，通过运营车辆就可以完成这项工作。 二是通用性强。 我们设计了统一的地图pipeline，对应不同的产品线，首先包括低速和高速的产品线。 在响应速度方面，可以支持全天候实时制图。 因为通过放置在云中，可以实现自动触发，最多可以在云中支持8个并发任务。 适应能力也比较高，能够适应和覆盖典型的城市情况和小区情况、隧道场景、高架场景等。 无需手动参与，整个自动化制图的成功率达到95%以上。

右侧显示了我们的自动构建图的整个过程，包括数据收集、数据输入、自动构建图、模拟测试、地图质量检查、地图输出和ota部署的过程。

在定位方面，设计了融合定位体系结构。 右边的视频是我们在武汉的典型场景。 武汉一侧的高架桥比较多，这属于比较多复杂的场景。 我们设计的融合定位方案有一个模块，用激光灌篮解决稍有遮挡或特征丰富的场景，除了用rtk保证宽场景下的定位导航外，还通过imu和轮速表保证自动驾驶车辆在一定时间内的相对定位精度 我们将在今年年底发布基于视觉匹配的融合定位。

上面稍微介绍了算法和软件相关的工作。 第二部分，我想介绍我们设计的一系列数据闭环系统。 众所周知，自动驾驶属于许多复杂的系统工程，因此无法从理论上说明自动驾驶是否安全以及是否比人类安全。 一般来说，通过不断进行负载测试，不断丰富我们的场景库，来提高我们自动驾驶的核心能力。 因为我们设计的这个数据闭环系统的核心是如何有效地解决道路测量过程中的长尾效应。 这里面列举了几个典型的场景，其实是选了一点武汉运营的典型数据。 左上有个老人在推垃圾车。 老人躲着，其实这非常挑战我们的检查。 右边是拖车。 左边有洒水车。 这是南方包括武汉在内的常见场景。 右下角有清洁工在冲洗地面。

这些场景其实是我们在道路测量过程中经常发现的场景，如何有效地利用这些场景，如何有效地收集这些场景，就是设计这个数据闭环系统的目标。

为了有效地解决这些场景，我们设计了车侧推理、云训练的数据闭环系统。 包括数据筛选、数据回送、数据标记、数据清洗、模型优化和判断，最后通过ota进行部署升级。 下面将重点介绍在车侧如何进行数据筛选，以及如何进行高价值的数据挖掘。 什么是高价值的数据挖掘？ 指的是我们收集了这些数据后，可以对我们的算法反哺，也可以对整个自动驾驶程序反哺，我们将这些定义为高价值数据。 众所周知，道路行驶距离累积到一定数量级时，会发生严重的样本不平衡。 在我们的场景库中，有些样本的比例非常高，有些样本的比例可能非常低。 此时，即使继续进行随机数据收集，对模型的提高也没有什么效果，有时也会产生相反的效果。 因为此时，模型已经饱和了。 为此，需要展开比较的路线图，收集模型所需的场景，补充数据库内的样本短板。 除了样本不平衡之外，数据挖掘的另一个原因是数据存储的关联。 在实际的负载传感过程中，如果取得包括中间过程数据在内的全部自动驾驶数据，则实际上每辆台车每天的数据量为tb水平。 如果全部收集，后端解决方案将会浪费非常大的资源，无论是数据过滤还是数据存储。 一个是样本平衡，另一个是数据存储。 出于这两个原因，必须在车的边缘放置高价值的数据收集器。 我们定义了两个场景。 一个是人工示教的模型，针对人工驾驶员和自动驾驶系统的不同，将这些不同的数据作为高价值的数据样本进行回收。 二是自动挖掘。 就是在自动驾驶的过程中，自动收集我们认为有价值的数据。 在自动挖掘中，我们也定义了两种不同的类型。 第一个是被称为显性的安全数据，意味着在自动驾驶中会出现急刹车和急转弯等意想不到的表现。 理论上我们的感知可以覆盖200米的范围，而且是360度无死角的感知，不应该出现。 因此，进行挖掘和保存，用于以后的算法改进。 第二种类型被称为隐形优化数据，是指整车正常工作但对某些模块有提高作用的数据

右侧是我们发掘的场景，卡车在拉树。 可以在右下角的场景中看到。 通过融合策略可以保证我们输出结果的正确性和车辆运行的准确性。 这里也将挖掘数据并添加到样本库中，提高后续各个模块的检查精度。

总结一下，整个数据闭环系统包括三个部分。 第一个数据平台是涵盖数据筛选、收集、清洗、入库、检索等功能的管理平台。 二是模型平台，通过cpu、gpu的有效资源调度和管理，实现模型和算法的有效迭代。 最后是根据内部定义的一点评价指标，实现自动化评价，实现报告输出和结果输出的测试平台。

下面介绍自动驾驶硬件平台，但实际上应用不同的软件算法模块是首要的，采用不同的硬件计算单元。 结合导航模块，可以支持三频道、四频道、五频道等多种融合战略。 关于环境感知，使用的是以ai芯片为中心的感知融合嵌入式设备。 关于自动驾驶脑，主要以cpu和mcu的安全芯片为中心，执行pnc的战略和基础的安全控制的战略。 最后是通过这种专用的数据传输黑匣子，实现ota部署、远程控制等功能的一组数据记录单元。 在整个设计过程中，对中央计算单元的防护、温度和功耗也有一定的优化和考虑。

最后介绍智行者落地的进展，其中我们分为不同的层面。 第一个层次是与安全相关的场景。 在安全方面，智能行者以无人特种车为核心，建立安全保障体系，使人类远离高危领域，保证生命安全。 这种场景的优点是基于非事先的高精度地图的方案，我们需要在线完成导航任务。 二是纯粹的3d场景下的感知和管制方案。 无人车应用行业在紧急救援、国防等方面将无人化放在首位。

第二个场景与效率和体验有关。 智能行者创造服务智能生活的基础性产品和场景，包括赋予能量的环卫领域、赋予能量的移动领域。 今年，我们大量落地的robotaxi和robobus。 在低速车行业，在最初的批量产品之后，今年也推出了3种不同的产品，扩展了产品类别。 新产品主要应用于室内清洁任务，场景包括大型商社、车站等。

最后，简单地说。 目前，我们已经实现了高速、中速、低速等不同场景下的大量商业化落地，是国内第一家实现产品化和商业化的公司，销往国外10多个国家和地区。