“超星未来梁爽：基于软硬件协同优化的高能效自动驾驶计算平台”

8月26日，由爱因斯坦汽车主办的“2021领域首届智能卡主控制器创新峰会”在上海汽车城瑞立酒店隆重举行。 这次会议持续了两天，包括智能汽车、智能驾驶域控制器、智能座舱域控制器、机箱和车身域控制器、智能驾驶计算平台、电子电气体系结构、软件 会议期间，超星未来联合创始人兼首席技术官梁爽博士说:“/ S2/]基于硬件和软件协同优化的高能效自动运行计算平台，

以下是演讲的实录。 [/s2/]

你好。 谢谢你提供了这样的平台。 在这里，我将向大家展示我们的想法。 刚才，很多同事都谈到了域控制器的全球化和商业上的技术飞速发展，这里可能更深入，谈论的是计算平台如何提高计算效率。

现在智能驾驶圈非常热闹，智能驾驶技术在更多行业加速落地。 包含在封闭、半封闭的场景中。 像港口和矿区一样，无人环卫车加速落地，在日常生活中也很常见。 许多公开干线物流、末端配送等道路场景的头部玩家已经走向发售环节，还有许多庞杂的城市道路场景的robotaxi制造商和l4自动驾驶的演示，许多庞杂的道路场景实现了长期无人交接的方案。 再加上，无论是轿车还是商用车，新车的智能化程度更强。 许多具有较强ai属性的大厂和创业企业也进入了这一课程，汽车行业的未来将是人工智能重要的落地方向之一。

我们还对智能驾驶系统进行了一点统计和分解，以具备l2+驾驶辅助功能的量产轿车和l4车辆为对象。 随着激光雷达的出现，包括价格的下降，这些智能车辆逐渐搭载激光雷达，可以看出l2+感知系统的传感器配置和l4系统配置的差距在逐渐缩小。

另外，不仅是感知算法，定位、甚至是决定的算法中，越来越多的包括常见的卷积神经互联网在内的数据驱动型算法也在应用，计算应用系统上的诸多复杂性越来越高

( ppt复制)右上是未来域控制逐渐从分布式方式扩展到集中方式，产品差异逐渐由软件APP应用层的定义形成，对中央计算单元提出了非常高的诉求。

目前，计算力的军备竞赛已经开始，包括今年5月在gtc上发布NVIDIA行业首款1000tops的soc，这比tesla fsd单片计算力72tops计算力提高了一个多数量级。 在国内也有超过海外玩家的倾向。 例如天际线j5最高为128tops，黑芝麻a1000p、106tops上个月刚刚公布了流媒体电影的完成，从计算平台的角度来看也提供了更加丰富可靠的选择。

有必要从计算平台的角度考虑一个问题。 我们对处理智能驾驶系统的计算平台的支持只能通过芯片堆栈来实现吗？ 芯片的计算力本质上被认为是智能驾驶系统尚不充分的条件。 众所周知，为了实现更好的系统，需要越来越多的计算力，但现在越来越多的人提到计算力是峰值计算力，而实际上芯片计算的效率是，未优化的芯片具有10t计算力，并认为 认为计算平台的设计不仅仅是计算力的问题，还是需要非常多复杂的系统优化设计的问题。

这里的图是清华电子系高能计算组整理出目前行业常见的芯片方案，总体趋势是同类芯片在同等工艺条件下能效比(单位瓦)实现的计算力指标基本在一个指标线上，没有太大变动。 也就是说，如果需要越来越多的计算力就需要支付越来越多的耗电量。

的场景是受限的场景，以l2+域控制为例，其功耗需要控制在30-40瓦的范围内，即使通过上水冷使功耗达到大几百瓦、上千瓦，其对于以电池为动力能源的车辆来说仍将持续运行。

建立计算平台本质上是在硬件、功耗等资源受限的条件下优化的问题，是一种被锁链锁住跳舞的状态。 我们面临着越来越多的复杂系统，必须应对越来越多的复杂迅速的重复传感器。 手头实际上是有限的资源，如何方便计算平台——部署，实现高能效和安全性，成为了一个非常有意思的话题。

我们认为，应对这一难题的技术方法还是要通过软硬件的协同手段来实现。 我们以神经网络计算为中心加速解决，从软件协同的角度用模型压缩、结构搜索的方法优化和设计了更好的硬件模型。 加快了定制化，包括神经互联网以外的计算，大大降低了cpu等通用单元的计算力开销，缩短了计算平台解决的延迟。 有一个在解决完全能效优化的基础上，在基础软件环境中进行优化，最终承载软硬件技术，开放提供给客户的异构计算平台。

首先，介绍一下我们的高级自动驾驶计算平台。 这是今年5月在北京发表的方案。 支持多传感器访问和解决，最高支持20路4k摄像头、3路千兆网口访问、12路can-fd。 在中间计算结构方案中，使用NVIDIAxaiversoc满足计算力诉求，引入异构方案fpga和mcu，满足顾客计算力诉求，满足神经互联网以外的计算力诉求。 此外，在功能安全方面也做了许多工作。 它还提供了完整的驱动程序、基本软件环境和工具链，使客户可以即插即用。 我们目前已经实现了自动驾驶计算平台在众多客户和多车型、多层次、多场景中的应用。

这是硬件计算平台的roadmap，今年5月这个30p比30有所提高，但实际上在硬件设计上也考虑到了NVIDIA的新一代方案，为了能够提供500t，进行了预约的设计，满足了顾客更大的诉求

从硬件体系结构层面的设计来说，我们也是考虑到功能安全性的设计，在mcu做了一系列的事情。 这包括对计算平台状态的监测和计算能力芯片上的冗余。 在硬件层面也提供了dfmea的分解和不同故障情况下的恰当应对方法。

在基本软件环境上放置了autosarap和autosarcp，研究了nova-drive的基本软件环境，支持异构系统的协作。 另外，根据iso26262设计，基于aspice工艺进行批量生产开发。

这里也要确保软件系统的可靠性，提供配置和调试工具，支持传感器和计算单元的时钟同步，实现纳秒级的同步精度，在故障诊断方面提供全面的故障分解工具，确保系统整体的可靠性。

这是在基本软件环境中采取的ota策略，客户非常方便地部署和升级了APP应用软件。 在ota工艺中，也设计了各种各样的机制，以保证ota工艺顺利、可靠。 此外，利用397swap的特点，可以实现APP配置的一键切换，满足某些客户的特殊诉求。

首先提出的问题是如何应对有限的硬件资源，需要在硬件中引入大量的算法和大量复杂的APP应用。 比较算法部署问题的常用方法是，获取自己的算法，寻找算法工程师或有算法经验的合作团队进行帮助，然后与此硬件进行比较，进行个性化设计。 但是，我们现在做的是基于自动化机器学习的手段，压缩模型，使压缩的过程成为自动化的工具，这一利益是大幅减少人工的开销，同时现在做的战略是支持多个硬件平台的匹配

例如在nova-slim模块的情况下，我们可以与不同的硬件平台进行比较来自适应地调整中间压缩的战略，最终压缩的互联网模型对硬件十分友好。 现在，包括芯片制造商持有的压缩在内，也支持第三方。

另外，我们也从源头做起，做着前沿的工作，但其实本质上，刚才压缩模型的过程其实是重新探索模型的过程。 虽然大家可以用人工的经验方法制作轻量化模型，但是现在大家越来越多地尝试用机器检索的方法。 我把神经网络模型中常见的算子放入池中，用机器检索的方法检索，可以得到满足我预设指标要求的模型。 用机器检索的方法得到的模型比大多数人工设计的模型在精度指标和延迟指标上能得到更好的提高。

我们去年和清华电子类项目小组共同发布了awnas。 然后去年在nova的基础上进行了cvpr低功耗视觉竞赛，取得了世界第三的成绩。 这在378个项目中达到了世界第三位。 我们投入算法工程师的人数非常少，基本上就是用这个自动化工具实现的这个成绩。

目前，我们可以实现自动驾驶的点云，视觉系统的感知算法可以实现非常好的压缩比，同时在不同的硬件平台上给出了一些例子。

另外，我们关注的趋势是，激光雷达正在逐步上车，激光雷达的点云感知算法也越来越受到重视。 目前常见的算法很多，特别是在实际场景中，定位在嵌入式一侧的场景，大部分基于二维图像，将三维点云转换为二维鸟瞰图，通过神经计算的方法进行点云感知。 它本身在感知效果上存在算法精度的天花板，目前研究行业中有很多基于三维点云感知的模型，但它越来越多的在服务器上运行，实际嵌入端不常用的三维点云感知算法进行了公共算子的提取，同时进行了深度优化。 l4和使用激光雷达的l2+的顾客对此非常感兴趣。

刚才的故事已经成为神经网络的一部分，但实际上我们也会关注其他算法。 ( ppt拷贝)左下角显示了一个例子。 例如2.5d点云目标检测算法) pointpillars )为例，将互联网压缩到1/4，cpu反而会遇到瓶颈。 对这样的部分进行了共性的提取和定制设计。 例如，通过FPU

ppt拷贝]这里有两个例子。 一般来说，由于点云目标识别的提前解决的加速，计算延迟会减少一个数量级。 还有l4车辆常见的ndt算法，车辆经常遇到信号故障时，有可能在高精度地图和激光雷达点云进行匹配。 这个算法也加速了我们的定制化，用非常少的fpga资源实现了嵌入式cpu的一位数的性能提升。 符合xilinx vitis框架，便于客户快速整合，帮助客户落地应用算法。

( ppt文案)这里的一个例子就是参加了北京科技冬季奥运会，在首都钢铁园区内实现了l4级自动驾驶示范项目。 对比两个车型，一个是小鹏g3和福田轻卡，基于我们自我研究的基础框架，用硬件平台支撑了这两个车辆在小区内的l4级自动驾驶示范，测试行驶距离达到了7000公里。

它还基于硬件计算平台和软件工具上的技术，与商用车合作伙伴合作，提供干线物流l3自动驾驶、半封闭式校园、l4级自动驾驶方面的支持和服务。

另外，nova-x工具链不仅可以在独特的平台上实现更好的效果，还可以作为独立的软件产品使用。 该产品与头部tier1合作，参与他们的量产项目。 例如，他们以前在比较大的计算力平台上实现域控制方案，现在想把计算力指标切换到原来的1/4的域控制方案，但不想给精度和功能带来很大的损失。 那么，我们将提供压缩工具的许可证，节省非常大的工程师开销，实现非常好的效果。

最后，让我简单介绍一下巨星的未来。 公司成立于2019年4月，其宗旨是向oem、第1层和处理计划运营商提供基于异构芯片计划提供硬件和软件计算平台的技术计划服务，从而使智能运行更加简单 我们团队的背景有清华车辆学院和清华电子系，实际上也是代表清华自动驾驶和ai系统优化方案比较前沿的两股力量。 联创队伍以清华校友为主，队伍90多人，但是一支很有战斗力的队伍，无论是在教育背景，还是实际工作经验的程度上都有非常好的组合。

这是我们现在的合作伙伴，我们很荣幸能从许多第1层、汽车厂、处理程序业者那里得到我们对技术的认识。 我们的超星将来将专注于在自动驾驶计算平台上对计算的效率和安全性进行越来越深入的发掘的工作。 我们也想和对这个兴趣有兴趣的同事一起把这项工作做好，让大家一起自动驾驶更简单一些。

上面是我的演讲复印件。 谢谢你。