“虹软科技陈锋：视觉技术协同车载芯片赋能安全智能的驾乘体验”

6月29日-30日，列支敦士登汽车主办的“2021中国汽车半导体产业大会”隆重举行。 此次会议主要围绕中国汽车企业核心短缺的现状、供应链国产化安全建设、车载芯片平台构建设计、自动驾驶、智能座舱行业的芯片诉求和应用实例、电力半导体在三电的应用、芯片测试和功能安全等话题展开讨论，共谋产业未来快速发展的道路， 以下是虹软科技视觉车载事业集团副社长陈锋在此次大会上的发言。

彩虹科技视觉车载事业群副总裁陈锋

你好，我叫陈锋。 我很高兴今天和大家分享视觉技术和车载半导体的迅速发展。 上午，很多嘉宾提到了手机和车载的联系。 虹软一直在做手机的计算视觉感知技术，我们和手机的相处也有很长时间。 自1876年贝尔发明电话机以来，一直在处理远程语音通信的问题。 从那天开始，人类就想象着有一天能进行远程视频通信。 这个问题比语音通信难多了。 一直过了100多年，直到近2000年，电视手机夏普j-sh04才问世。 当然，真正引发通信革命的是iphone1。 它不仅是通信的手段，还是电脑，上面可以有下载、更新、第三方，也可以放着我们开发的软件，所以实际上是移动计算平台。

年从苹果iphone5s更新为64位解决方案后，计算能力得到了提高，计算能力得到了增强。 另外，我们发现摄像头从一个200万像素后置摄像头到后来的前置、后置，到今天为止是6个摄像头5个后置、1个前置。 为了支持这么多摄像头，我们的计算平台进行了多次升级。 与声音不同，声音只是采集、调制、传输的过程中，对视频来说，它需要采集、压缩、编码，并且有各种不同的应用场景，如暗光、抖动等，这所需的计算力要大得多 手机革命实际上是由我们的半导体革命引起的，在这里我们看到很多企业做出了很多贡献。 其中也包括高通。

例如，这款五摄像头手机使用的是驸龙845芯片、10纳米制造的八核芯片，还有各种各样的异构计算平台。 有了这样的计算平台，可以支持5台1200万像素的后置摄像头和前置2000万像素的摄像头，可以进行实时视频拍摄和传输，自动聚焦、光引导、重力引导、磁力引导等多种算法

汽车的迅速发展比手机的可视通信要快得多，最先实际安装在车上的照相机是别克概念车。 我想真正量产的商用车上安装摄像头的应该是1991年的丰田。 丰田搭载了后置摄像头，可以通过视频电缆在仪表板上观看摄像头的影像。

2006年，kate、suzuki、fujita、hirama额头四人提出了汽车全景标志的概念。 从那以后，主要环顾四周，在后置影像上出现了很多摄像头处理方案。 这样，照相机对汽车来说也不是陌生的事件。 但真正革命性的快速发展在这几年，随着自动驾驶的普及，车上搭载的摄像头更多。

刚才我说了摄像头从视觉方面向手机和汽车迅速发展，其他方面也有很多相似和不同之处。 例如，据报道，开发周期以前汽车更新时间较晚，每五年一次，每年逐渐提高。 高端智能手机基本上从上半年开始一年有一次大的改款。 智能车也是一样，现在新能源智能车基本上每年都会更新，增加了很多功能。

从企业品牌上来说，汽车本来就是比较大的一线企业品牌，手机的快速发展也经历了这个阶段，本来有很多，但最近几乎只剩下几家了。 智能车的迅速发展，以前由于各种原因一度降温，但最近随着各种因素的变化，国内智能化汽车、新能源汽车、新势力汽车日趋活跃。 但我相信多年后一定会回到几个大车厂的局面。

交互方法是，原来的汽车没什么智能，都是用手触摸按钮，没有多点触摸。 那么，随着高端智能手机的迅速发展，现在汽车上也看到了触摸屏、语音交流、视线交流、手势交流。 关键技术汽车以原底盘设计为主，由于分布式电机系统、电子电器的结构，现已成为域控制器，集中计算单元，像手机一样，高端智能手机基本上是soc的主要芯片成为解决的中心部分，所以汽车

iphone苹果手机最大的创新实际上不是硬件，而是能够加载第三方APP的模式。 现在，所谓的软件定义汽车也到了这一步，tesla可以根据顾客的诉求进行升级和定制。 今后，这种方式在中国的汽车企业中肯定会变多。 这实际上也带动了原有的高端智能手机的迅速发展。

半导体可以分为存储器、光学等传感器、控制器、逻辑电路、模拟电路，其中传感器的比重变多，计算单元的比重增加。 让我们看看今天市场上最受欢迎的车。 例如，tesla有9台摄像机、1台毫米波雷达和12台超声波雷达。彭先生p7有5台毫米波雷达、14台摄像机。 将来es6有5个毫米波雷达，8个相机，12个超声波雷达。 我们知道，要迅速发展我们的车，重要的力量是传感器、感知、视觉和雷达。 也就是说，只有看得见，了解周边的情况，才能正确地进行智能评价，走向自动驾驶。

车载芯片除此之外还有计算能力的部分，目前市场上通用的是仪表板，车载设备，甚至独立的dcu上面还有tda4vm、sa8155p、cv2aq76、h3/v3m等。 除此之外，还要看其性能、arm、dsp、gpu、npu是什么样的、还有编解码能力、安全级别是多少。 这些是我们非常在意的东西。

车载传感器分为超声波、相机、毫米波雷达、激光雷达，它们共同构成了感知系统。 虽说tesla不用激光雷达，但如果激光雷达真的值到了100美元以下，为什么不用呢？ 与其他传感器相比，肯定有很多特点。

关于摄像头本身，前视、环视、后视、侧视、内置、内置时的驾驶员状态监测、乘客监测、内置摄像头在很多汽车企业已经搭载，欧洲和中国的新车标准中也要求驾驶员的状态监测技术。

总结一下，车载计算力和传感器芯片，对他们有什么好处呢？ 车载照相机的数量很多。 从最初的后视用的1个照相机到环视的4个照相机。 另外，我们倾向于期待汽车电子的架构，从本来分散的分散型ecu向dcu域控制器的转换，然后像tesla那样，期待中央硬件单元、硬件计算单元。

从照相机来说，数量增加了，而且照相机的像素种类也更多，从原来的200万、100万，到现在的800万像素照相机、1600万像素照相机，为什么？ 因为看远的时候为了清晰地看到小东西，必须提高像素，提高分辨率。 另外，动态范围也增加了。 要清晰地看到昏暗的光线，这些是当前传感器的趋势，支持这些传感器的变化。 这些车载芯片也在这些方面有了很大的提高。

介绍虹软企业吧。 虹软企业成立于1994年，位于美国硅谷。 企业成立以来，我们都集中在视觉这个事件上。 从图像的计算到现在都是视觉感知的。 从最初的功能机到高端智能手机、打印机、数码相机到今天的汽车，我们都制作了软件算法，让我们更清晰地看到所有设备，更好地理解，至今累计100多亿台设备

自1994年成立以来，日本软件企业涵盖了pc、各种嵌入式设备、打印机、相机、投影仪、扫描仪、高端智能手机、智能汽车、iot智能零售、机器人等所有领域， 其中包括图像增强、各种暗光高清、相机抖动校正、hdr、3d景深摄像机、双目立体视觉。 视觉上基本上是全栈处理方案。

我知道我们有无限的计算力不能让你采用。 它留给我们算法的资源还很少，而且你必须是冗余的，安全的。 那么，在有限明确的硬件条件下，如何完全利用你的资源，使你的算法性能提高到顾客需要的水平，而且不怎么耗电是非常重要的。 因为耗电量过多会带来发热等问题。 我们虹软不仅在算法层面有强大的团队，而且有强大的工程团队，在各种有限的计算资源下可以尽量提高计算性能。 日本软件有以下语言。 在低端硬件价格上可以得到与高性能芯片相同的性能。 这也是基尼软件强大的地方。

我们不制作芯片，但是基本上支持所有的芯片制造商，如高通、mtk、ti、ambarella、renesas、nxp等。

今天借此机会向大家介绍我们的智能客舱产品visdrive6.0。 visdrive6.0包括广义智能座舱的所有功能，其中包括驾驶员状态监测、乘客监测、人机交互。 我们把舱外死角检测、ar导航也视为智能座舱的一部分。 那都是给驾驶员的，因为他们提供了驾驶员安全、智能的行驶服务。

这其中有八个行业。 ar硬盘、dms、互联网、地址、oms、虚拟机、bsd等。 那么6.0有什么不同呢？ 例如，如果dms中有疲劳行为的注意事项，人可以在疲劳时做出有点习性的动作、摇头、揉脸等，事先评价是否疲劳。 另外，在注意放开手柄的行为、注意手柄玩手机的行为的interact上增加了自动唤醒功能。 在oms中，欧洲对儿童乘客有很多确定的要求，我们也对比地发表了儿童座位识别、儿童哭闹检查、被留下的宠物注意、室内照片美化、室内视频自拍、3d虚拟跑步助手。 我们在authenticate上增加了汽车无钥匙启动、手机、云、汽车、机端账户的联动、安全防伪的便捷支付等。

如果有使用高通8155的车厂，我们有现成的方案马上给他。 你要使用mtk8666，我们也有现成的处理方案很快就可以用你的车实现。

虹软除了上述还有什么？ 我们的特点是算法的特点，我们有强大的算法团队，而且我们的方案和算法已经嵌入在百亿台以上的设备中，有很多工程实践的经验。 也有平台的特点。 所有主要的芯片平台都可以支持。 然后可以在dsp中实现。 可以在gpu、npu中实现。 此外，还可以在有限的cpu中实现算法。 服务特点，我们有视频开发平台。 上的开发者超过25万台，百亿台设备也有全球支持团队，所以我们积累了很多经验，服务特点也是其他供应商比较有特色的地方。

简单地放几个视频介绍一下实际产品的情况。 在右侧的视频中，除了环境连接外，还有透视的机身机箱。

这个功能是在avm超广角摄像机上进行行人检查，不是汽车检查。 这段视频显示，如果孩子被留下来，我们的技术可以通过手机连接起来，很快就注意到了。 这包括后部人体的检查、年龄检查，如果是大人的话不会注意，但是如果是孩子的话会注意。

虽然也有其他遗留物的注意，但是座位上仍然留有手机等贵重作品是令人头疼的事件，现在大多在共享汽车上搭载了oms功能。 视线变亮画面。 这是人机交互的一部分，只有盯着某个地方时才会让画面变亮。

最后是ar实景导航。 谢谢你。