“2021HMI大会丨纪大伟：实时3D技术引领次世代HMI的快速发展与变革”

2021年4月13日，由爱因斯坦汽车、慕尼黑上海电子展共同主办的“2021中国汽车人机交互hmi创新大会”隆重举行。 此次大会旨在吸引汽车hmi行业优秀人才、ux/ui设计师及前瞻规划研究者分享各方面汽车人机交互行业的创新理念、技术趋势、领域焦点、现实挑战和应用处理方案。 会议期间，epic games中国技术客户经理纪大伟发表了主题演讲“实时3d技术将引领新一代hmi的快速发展和变革”。

以下是演讲的实录:

你好。 我是epic games的纪大伟。 我很荣幸能代表企业在这里分享虚幻引擎的实时流程和我们落地的hmi样本。 然后，还将就以幻想引擎为中心的实时技术和epic创建的生态圈对未来智能座舱hmi的影响进行简要说明。

epic games成立近30年，致力于实时引擎的技术开发，总部设在美国，目前在全球15个以上国家设立了52个办公室，我们稳步成长，全球员工3000人。 幻想引擎以实时、高画质、交互式3d技术为主，已经在世界上获得了许多国际奖项，其中包括两次艾美奖。

目前，全球有1450多万幻像引擎客户分布在所有领域。 我们开发和宣传了引擎，使用这些引擎开发了自主游戏，开发了世界闻名的游戏“堡垒之夜”。 迄今为止，虚幻的引擎在全球范围内得到各行各业的认可。 特别是在汽车领域，我们与法拉利、兰博基尼、通用汽车、宝马、奔驰等世界前十大量产汽车制造商和顶级超跑制造商进行了合作。 接下来看录像吧。

在刚才的视频中，我们发现unreal engine实时技术在汽车领域的许多细分行业中得到了充分的应用。 例如，可以创建实时的汽车设计审查和可视化项目。 还可以创建质量非常高的实时汽车配置器并将其引入云，让更多的客户和购买者了解你公司的产品。也可以在unreal engine上创建全数字的虚拟工厂来验证你的生产线，这是一个幻想

今天，我们将向大家介绍用其中最重要的实时幻想引擎技术制作的新一代hmi。 调查显示，市场上80%的操作系统基于安卓，两年前完成了安卓移植。 右图为安卓本机操作系统，左图为安卓本机ui。 其次我们与多家主机制造商进行了量产车的hmi项目，由于他们对安全性有着非常高的要求，我们进一步实现了从安卓到qnx的量产。

让我们来看看悍马的例子。 gmc悍马ev是世界上第一个采用游戏引擎开发的hmi项目。 悍马ev本身有很多功能，用最先进的3d技术来解释和表达。 下一部电影有许多基于unreal engine开发的hmi亮点。

这是一部非常酷的宣传电影，它运用真人和大量hmi交互功能相结合的方法很好地诠释了悍马ev的强大。 接下来进入悍马ev的内部装饰，看看亮点。 请看大屏幕。

这个短视频也有很多亮点。 首先，组合仪表为12英寸，中心控制面板为13.5英寸。 这些背后支撑着幻想引擎的实时技术。 我们也将继续支持悍马ev这个项目。

接下来，我们来看一下悍马ev功能的视频。 首先第一个功能是crab mode，可以四轮，转向一个立场，帮助车主在极端越野的情况下犯困。 第二个功能叫做watt to freedom，在驾驶员启动后，可以降低悍马ev底盘。 然后，驾驶员可以按照车的指令刹车后再踩油门，一踩刹车马上动能就开始传递，可以看到车从静止转为行驶状态。

接下来是组合仪表。 这默认为2d，展示的是常规新闻。 业主可以采用实时技术切换到3d仪表，切换后可以接受2d指南针和3d轮缆的展示。

中央控制台屏幕集成了音乐播放、导航等非常常见的车辆功能。 除此之外，中央控制台屏幕还支持三种客户定制的布局。 在这里浏览所有的3d和2d，客户可以根据自己的习性进行定制； 酷有驾驶切换功能，切换到越野模式后会有非常酷的实时渲染视频。 悍马ev是越野车，越野车为了规避很多风险需要在路面上帮助驾驶员。 于是，通过将从外部获取的传感器数据直接连接到车辆上，提供了一种实时动态显示当前整车姿态，在横向和纵向两个方向上帮助驾驶员规避风险的3d悍马模型。 路面非常多、非常复杂或非常颠簸时，3d汽车模型会相应联动显示，帮助客户了解当前的车辆状况。

正如您所看到的，短的hmi功能视频有非常多的亮点。 在那里，我们对以前流传下来的车的认识被打破了，还增加了一点科幻的元素。 其背后离不开幻想引擎实时技术的支持。

由于这个项目取得了比较好的效果，通用电气创立了第二个项目，凯迪拉克lyriq。 同样用虚幻的引擎开发了整个hmi系统，但偏重于主要的科学技术感和豪华感。 使用曲面屏、多画面，同时通用旗下的自动驾驶系统背后的3d技术支持也是虚幻的引擎。 让我们看一下短视频。

通过了解两种批量生产模式，可以发现新一代3d hmi是不可逆的趋势。 另外，这里会明确的。 通用汽车宣布这两款车将使用高功率高端芯片。 同时，该车将在国内生产，最近将在上海车展上展出。 所以，3d hmi车其实离我们很近。

接下来是一个非常酷的hmi示例。 与北美设计公司siili auto合作，以2d、扁平化、简约风格为中心。 请一起理解。 值得注意的是，该系统的开发没有写一行代码，而是利用虚幻引擎的蓝图和umg系统进行的。

今后的重点是整套技术处理方案。 我们是发动机开发的企业，采用自己的发动机制造优秀的实时交互产品。 过程中发现，hmi开发和游戏开发有非常多的交叉。 首先，3d效果是一个非常硬的核心诉求，它还提供了开源的c +代码，开发者可以免费获得，并且还提供了一套工具，有助于在开发过程中降低成本。 对于来自主机制造商开发部门的合作伙伴来说，幻想引擎这个工具很酷，但是如何才能以最低的价格集成到现有的车辆系统中呢？ 这个问题完全不用担心，只要有足够的开发能力，就可以用虚幻的引擎开发一系列的APP； 如果考虑价格的话，可以把幻想引擎的3d处理方案当成一个库，直接嵌入你现有的车的系统中。 此外，通过虚拟引擎实时渲染，每个ue实例可以与屏幕中的3d视口进行比较，以提供单独的副本渲染。 如果芯片比高端的芯片更能支持多屏幕。 我们开发了一系列的流水线工具，使客户能够将现有的dcc工具生成的数据无缝地导入到ue中进行hmi开发。 datasmith还帮助实现了数据转换的自动化。 原本外部数据进入引擎，如果没有专用工具，补助会增加价格，但现在我们已经完全处理了这个问题。

然后，我们官方在梦幻商城发布了非常多的免费资源。 例如，上个月我和奥迪合作，把他们的a5车免费送给了所有梦幻的客人。 大家可以在商业街直接体验下载。 前几天，我们和另一个合作伙伴vectorform合作，用虚幻的引擎开发了一系列的汽车学习场景。 大家可以免费下载同时学习、测试。 我们还开发了幻想引擎专用的汽车素材库。 有140多种pbr素材，随时可以在商城下载采用。 它还提供了丰富的场景资源来展示汽车。 一系列官方资源可以在汽车开发的过程中最大限度地节约价格。

全套幻想引擎hmi开发流程是设计驱动的方案，在蓝图中可以进行2d和3d的相互作用，在umg中可以与ui动画进行相互作用，umg支持调试、性能优化、分解。 作为实时引擎，我们不仅关注效果，还关注性能。 无论是效果、材质、纹理、模型还是灯光，这些工具都可以用于实时分析，从而优化车辆的性能。

本公司开发的hmi系统gazelle的芯片选型为高通8115，兼顾了高画质和性能。 将hmi的启动时间缩短到1秒以内，帧频达到60帧。 启动后，可以看到完整的3d实时对话车型，整车面数超过50万。 为了维持尽可能多的细节，我们没有对外包装进行优化，让业主通过画面的放大缩小可以看到所有的细节。 我们要求车载移动芯片也能表现出接近pc端的高水准。

接下来，让我们来看看幻想引擎是如何实现这些非常酷的实时效果的。 为此，我们开发者做了很多尝试和努力。 我们可以从默认状态和重写后的车漆对象出发，给手机增加hdr的高动态效果，非常容易看出两者的区别。 我们也尽量优化性能，简化材质效果，最终保证完美运行。

接下来，让我们来看看音乐界面。 所有ui界面的按钮、交互方法都是用ue制作的。 背后的声音也由引擎实时运算并显示轨道的动态波长。 此外，电动汽车已成为当前的快速发展趋势，我们为此专门设计了能源页面，使业主能够在非常直观的3d透明材质下感受电池的状态。 右侧有一个图表，业主可以实时检测到该电量的新闻和续航距离的新闻。 这个页面现在市场上，应该是同类产品中唯一的。

我们可以加入非常有趣的主题切换功能，将默认的轿车切换成“堡垒之夜”的玩具车。 切换结束后，导航、音乐播放、权力页面等所有页面将一起成为新主题。 这样的主题切换无形中开启了新的基于远程信息服务的订阅付费模式。

对oem来说，未来汽车的大部分功能，都需要展示车型的相关内容和新闻，通过业主第一时间实时渲染的方法，尽可能多地了解与你的车型、车本身相关的新闻。 添加这些主题切换的要素，特别是游戏副本，可以大幅提高hmi的顾客体验。 我们也和oem进行过马达联动。 例如，福特150这款车由设计师重新设计，与《rocket league》游戏直接联动。

这种跨界联动方法在北美已经非常流行，“火箭联盟”基本上每个月都会和世界上的大ip进行同样的联动。 我们的“堡垒之夜”在世界上有数亿顾客。 我们和合作伙伴、各大ip尝试了各种各样的联动。 所有《堡垒之夜》的这些效果都是基于幻像引擎的实时技术实时渲染的，其中包含了非常多众所周知的ip。

在这里，我们来看一下使用虚幻引擎技术开发的所有游戏“堡垒之夜”。 从画面上可以很容易地感受到幻像引擎技术和其他同类产品的不同。 汽车和游戏的应用差距越来越近了。 特斯拉官方公布后，发现特斯拉内部嵌入了amd的新芯片。 这相当于放置了紧凑的ps5主机。 所以《堡垒之夜》也和世界上很多大ip有很多联动，我认为将来在国内也有可能进行同样的活动。

今后让我们放眼未来吧。 未来的车会基于强大的实时发动机技术，对我们未来的智能座舱和hmi有指导的指导能力吗？

我们以前想在“堡垒之夜”举办虚拟音乐会，当时有1400多万人，在线体验了这个人，与travis scott这个虚拟3d形象进行了交流。

将来，如果有强大的芯片、高分辨率的屏幕，我们能推动什么前进吗？ 幻之引擎认为，未来很可能将电影级车主的虚拟形象嵌入车里。 事实上，我们开始了这方面的尝试。 我们近期将发布由幻想引擎技术支持开发的——metahuman creator。

这个制造数字人类的工具，都放在云中，用像素流的方法推送到各终端的移动设备、手机上。 将来，通过实时捕获客户自己脸部的肖像画或提供少量照片生成，很有可能完成一个库，首先创建业主自己的虚拟3d图像。 未来可以基于虚拟形象进行很多尝试。 例如，可以在虚拟世界中与他人对话。

除此之外，我们还有非常先进的技术。 是环形引擎5。 有了强大的ue5技术支持，我相信前面展示的这些拷贝在不久的将来就能实现。

除了3d这个趋势之外，从发动机的角度来分解，未来的汽车机遇有以下三大趋势:云计算和互联、人工智能和自动化、丰富的交互和沉浸式体验。 希望将来我们有机会不断改进发动机技术，在国内与越来越多的oem合作开发优秀的hmi产品。 谢谢你。