“英伟达冯栋栋：NVIDIA DRIVE 端到端自动驾驶平台”

8月26日，由爱因斯坦汽车主办的“2021领域首届智能卡主控制器创新峰会”在上海汽车城瑞立酒店隆重举行。 这次会议持续了两天，包括智能汽车、智能驾驶域控制器、智能座舱域控制器、机箱和车身域控制器、智能驾驶计算平台、电子电气体系结构、软件 会议期间，NVIDIA半导体技术(上海)有限企业自动驾驶软件总监冯栋栋)/S2/) ] NVIDIA驱动器端到端自动驾驶平台(

以下是演讲的实录。

早上好。 我很高兴今天有机会在汽车行业的nvidia drive端到端自动驾驶平台上共享NVIDIA。

1999年nvidia发明了gpu，极大地推动了pc游戏市场的飞速发展，重新定义了现代计算机图形技术，从根本上改变了并行计算。 我们基于强大的gpu和高性能计算开发了各种ai的相同产品，今天我们首先向大家展示的是NVIDIA在自动驾驶行业发挥作用的NVIDIA驱动平台。

昨天的演讲嘉宾包括刚才的小鹏闲雪先生在内，说未来的汽车一定是软件定义汽车。 我认为，在未来，汽车不仅仅是交通工具，一定是具有持续软件迭代的软件定义汽车。 以前，大家买以前流传下来的车的时候，第一天最好是那样，但是随着时间的推移，推导可能就没有新奇性了。 但是，软件汽车正好相反。 购买这辆汽车的时候，第一天可能是最年轻，最不完整的。 但随着时间的推移，ota软件反复更新，它给产品带来了越来越多的新功能和新奇性，其快速发展的历史与以前流传下来的汽车完全不同。

与软件定义汽车诉求相比，NVIDIA开发了端到端的自动驾驶平台。 第一，为了使自动驾驶领域的顾客能够根据本公司的平台迅速有效地开发自动驾驶产品。

nvidiadrive平台主要包括:光驱线芯片、光驱线AGX orin车端集中式ai计算平台、光驱操作系统基础软件平台、光驱线中间件、光驱线中间件、

drive hyperion是nvidia的自动驾驶数据采集和验证开发套件，包括nvidia的Driveagx开发平台、主要传感器，如相机、radar、lidar、gps、imu等硬件 它还包括驱动器操作系统基础软件平台、驱动器工作中心软件和数据收集相关软件。 我们的客户、合作伙伴可以基于drive hyperion开发套件快速构建自动驾驶数据采集车和测试车辆，进行多传感器数据采集和自动驾驶算法的测试验证。

dgx a100是世界上第一台高性能ai计算机，内置A100 Tensor酷睿GPU配备640 GB GPU内存，内置mellanox connectx-6 infiniband超高带宽以太网适配器的双向带宽峰值为500 GB 基于高性能的dgx ai服务器，客户可以进行深度互联网学习的训练、推理和数据观察，多个dgx a100还可以与nvidia dgx superpod™、 nvidiabluefield®数据解析单元dpu与nvidia base command™组合构建超级计算机或ai集群，可以为具有挑战性的自动运行的大量数据进行深度学习

驱动集成仿真平台渲染和模拟各种虚拟场景，并生成模拟传感器数据。 主要有以下两个功能:1)虚拟模拟-在驱动器集成模拟器上运行的驱动器sim软件，模拟车辆在虚拟世界、交通场景和道路上的行驶。 虚拟汽车在模拟环境中行驶时，将生成模拟传感器数据，如相机、雷达、lidar、gps和imu。 这些模拟传感器数据被发送到drive constellation computer中的drive agx车端计算平台，以生成感知、定位、规划和决策控制数据，然后发送到drive constellation simime 2 )用于数据播放——自动驾驶车数据收集中的物理传感器的实际数据也通过驱动集成模拟器进行数据播放，然后使用驱动集成计算机中的驱动AGX车端计算平台； 能够生成决策控制数据并将其返回给驱动器集成的驱动器集成仿真平台提供了可扩展、全面和多样化的测试环境。 通过开放的模块化体系结构，drive sim软件可以让客户利用自己的模拟模型或生态合作伙伴的定制车辆、环境、传感器或交通场景。

drive agx平台主要是为自动驾驶车提供高性能的车侧ai计算平台。 经过仿真测试的深度学习互联网模型和算法可以引入到drive agx车端平台进行相应的自动驾驶功能道路测试和验证。 也可以在drive agx车端平台上创建或绘制世界模型，以显示当前车辆的3d环绕模型。 自动驾驶车辆通过道路测试验证，还可以收集传感器数据。 因此，数据采集、数据训练、仿真、自动驾驶道路测试验证将形成数据闭环。

2019年发布了drive orin芯片。 第一是为了满足l2辅助驾驶、l2+高级辅助驾驶、高级自动驾驶的诉求。 orin由245亿个晶体管组成，集成12个64位arm a78 cpu核心，提供228k dmips cpu计算能力； 一体机核心GPU和dla提供254顶8 AI推理能力； orin提供高达205 gb/s的内存带宽，内部内置4WarbetEthernet。 orin支持h264/h265/vp9样式的8k像素30帧/秒的图像解码和4k像素60帧/秒的图像编码； orin的功能安全岛整合了4个lock-step cortex-r52核心，达到了随机的硬件故障asil-d。 最重要的是，orin芯片是严格按照iso26262功能安全设计开发的，能够与随机硬件故障asil-b达成系统级asil-d功能安全认证。 我们基于orin芯片开发了硬件体系结构的可扩展性和软件可编程的自动驾驶集中式体系结构ai计算平台。 这个ai计算平台用单一的orin芯片提供254 topsint8ai推理能力，可以满足l2辅助、l2+高端辅助产品的诉求。 多个orin芯片或Orin+安培gpu可以构建具有2000topsint8以上计算力的ai计算平台，以满足robotaxi产品的诉求。

目前流传的l2辅助驾驶系统通常由包括360外观、adas域控制器、智能摄像机在内的多个ecu组成。 基于drive orin可扩展参考平台的设计，我们的客户根据车型诉求，快速设计开发了灵活、可扩展、统一软硬件架构的自动驾驶集中式ai计算平台

刚才我说过orin芯片将提供从单一芯片到254tops的推理能力，通过可扩展的drive orin产品系列， 客户可以在多个车型系列中利用drive orin硬件平台的灵活扩展性和统一体系结构的巨大特征快速构建智能驾驶域控制器硬件平台，是同一硬件体系结构的域控制器平台 l2+高级辅助驾驶，l4高级自动驾驶系统与无人驾驶系统兼容，大大加速了域

基于orin灵活的可扩展性，还开发了相应的基本软件平台和中间件。 我们的客户可以通过统一的SDK API接口快速开发自己的APP应用程序和算法。 为了使顾客更容易采用驱动器操作系统，进行了抽象封装，提供了包括硬件传感器抽象层、图像解决、点云解决在内的模块化抽象软件包库，提供了易于采用的计算框架。 我们的客户可以利用drive os的这些特点，快速构建能够实现复用最大化的APP应用软件和算法。 同一软件架构的域控制器平台软件可以支持l2辅助驾驶、高级自动驾驶和无人驾驶系统，加快软件产品开发的迭代速度，同时降低软件开发和测试验证价格。

未来的汽车一定是集中式体系结构或中央式体系结构。 为了满足集中式体系结构，驱动器操作系统平台还从设计的角度考虑了soa理念，所有软件都基于模块化设计。 drive os是NVIDIA为车端芯片开发的模块化ai计算平台。 深绿色部分是orin芯片，浅绿色是drive os各软件模块，灰色是第三方软件或客户自行开发的软件模块。 为了实现drive os的功能安全和软硬件隔离，在orinsoc上运行符合nvidia自主开发的功能安全的实时微内核type1虚拟机管理程序。 在虚拟机管理程序上，符合功能安全性的qnxqos作为guestos运行。 虚拟机管理程序上面还发货了许多虚拟机，如负责更新ota的驱动器更新服务和基础服务。 nvidia在qnxguestos上开发了NV媒体、NV流媒体、vulkanscsdk和cuda、tensorrt ai发动机加速器库。 在orin功能安全岛，oem可以执行与功能安全相关的算法，如车控算法、比对算法、传感器后融合算法。 另外，在功能安全岛运行NVIDIA独有的安全框架，主要是对orin芯片的实时监视、硬件模块和寄存器的状态，以及对drive os软件的监视。

nvdia driveworks sdk主要实现相机、毫米波雷达、激光雷达、gps、imu等传感器的抽象封装，支持图像解决和点云预解决。 自动驾驶车在道路上行驶一段时间后，一些视觉传感器可能会因振动而导致图像输出失真。 可以使用自动校准进行在线校准。 另外，提供当前车辆位置的估计和预测，根据drive works收集的传感器数据，在drive av层进行适当的障碍物识别、车道识别、信号机识别，根据这些识别结果与HD地图组合实现定位，建立世界模型，最后

基于drive works，我们对比了自动驾驶典型的招聘场景和cornercase场景，开发了障碍物感知、车道检测、路口感知、距离感知、交通标志和信号灯感知和司机监控等常用互联网。 另外，还开发了比较警察手势指挥的检测互联网、远光检测互联网、摄像机失明检测互联网等。

刚才，与现代的orin平台进行了比较介绍。 为了满足顾客对软件定义汽车和高性能ai计算平台的诉求，开发了Orin新一代产品drive atlan。 单片提供1000tops的计算能力，可以满足2024年自动驾驶车批量生产的诉求[/s2/]。 atlan是综合了nvidia、汽车、安全和蓝场安全数据中心的各种技术的技术杰作。 drive atlan是业界首款在单片上提供1000 tops的soc。 atlan提供更高的互联网带宽和安全服务，可以与asil-d功能安全岛集成，基于atlan的顾客可以开发自动驾驶产品满足高次自动驾驶。

nvidia drive是一个驱动器orin/Atlan芯片、驱动器AGX硬件参考平台、驱动器操作系统、驱动器工作系统、驱动器AV自动驾驶软件堆栈、以及驱动器Hype 从drive constellation虚拟仿真平台到dgx高性能培训服务器，我们在各个层面都与各领域的客户、合作伙伴进行了深入的合作。 nvidia将继续提供更安全高效的自动驾驶的集中式高性能ai计算平台，使车辆能够实时运行自动驾驶所需的各种冗余和多样性的深度学习互联网模型和算法

最后感谢全世界的开发者、伙伴。 我希望我们能和世界的顾客和伙伴开拓更美好的未来。 谢谢你。