“虹软陈锋：虹软视觉感知技术打造智能安全的驾乘体验”

9月14日，列支敦士登汽车主办的2021中国商用车自动驾驶大赛隆重召开。 此次峰会将聚焦商用车自动驾驶领域的快速发展趋势，共同探讨从感知、决策到执行层面的核心技术，以及港口、矿区、干线物流、园区等不同终端场景的产业化落地方案。 以下是虹软科技股份有限公司视觉车载事业集团副社长陈锋在此次大会上的发言。

彩虹软科学技术股份有限公司视觉车载事业群副社长陈锋

大家好！

尼日软件企业是算法企业，我们从1994年成立以来就一直在制作视觉感知算法，只做一个事件。

视觉感知是自动驾驶的基础，远离感知就像你看不见一样，是盲人，不能做任何事件。 感知有包括毫米波雷达、激光雷达、夜视红外在内的其他传感器，各级从l0到l5都离不开视觉传感器。 我们把视觉分成机内和船外。 在2035年到来之前，十几年内车上可能会有司机。 如果有司机的话，就需要监视司机的状态，需要dms，需要很多让他更安全迅速地工作的方法。

伊利斯软件企业于1994年在美国成立，年将总部迁往中国后，于2019年在上海科技创板上市，是第一家视觉感知企业(科创板上场)，也是25家最早的科创板上场企业之一。 我们所做的视觉感知都内置在顾客的设备中。 例如，最初的打印机、电脑、数码相机、功能手机、高端智能手机等，搭载彩虹软件算法的终端设备已经超过了100亿台。

这是我们视觉感知的全方位，从以前流传下来的基础摄影技术到图像增强，再到智能感知。 虽然我们进入汽车领域不太久，但进入汽车领域后，我们定点的项目已经超过了50个车型，覆盖了轿车行业国内主要的主机厂，也包括新能源汽车。

我们的视觉感知基本上是全栈式的，从机内到船外，从dms、oms、authenticate、人机交互、adas、avm/mod、ar导航、hud、胶囊娱乐。 为什么会有室内娱乐系统？ 虽然是最好的轿车，但商用车也有可能迅速发展。 为什么？ 刚才有嘉宾说商用车司机疲劳是常态，长时间开车是他工作的一部分。 如果有什么方法，不仅可以检测他的疲劳，还可以减轻他的疲劳，缓解他的疲劳。 室内智能技术不是很有帮助吗？ 可以一起研究。

在商用车上，我们的算法主要是胶囊内的dms和人机交互、oms、胶囊外adas、avm相关的产品。 商用车行业除了算法授权外，还有软硬件一体化的处理方法，有硬件产品，也有包含一个摄像头的ai camera。 这个摄像头只需要dms，也可以开门提醒，还有2-4路中低端的硬件处理方案

ai camera APP应用最大是胶囊内感知dms。 2-4路的，比如bsd。 前面的bsd加上dms，还有其他组合。 我们不仅提供硬件，还一起提供算法。 这是自动取款机。 也可以将4路的全部用于avm。 4-8路日益增加。 这里有部标机的形态和其他非部标的形态。 这里有不同的组合。

首先，用视频演示一下我们实际制作的产品的状况。 首先是dms。 这包括脸部识别，可以识别驾驶者是谁，如疲惫、分心、抽烟、打电话、手势控制等。 ( vcr拷贝)

疲劳除了简单的眼睛和表情识别之外，还追加了视线的方向和状态等很多表示是否疲劳的功能。 例如，在你累之前，真的要击球睡觉之前，很多人揉揉眼睛、揉揉脸、扭扭脖子做其他动作，都可以提前检测出早期的疲劳状态。

我在昨天讨论的时候也说过，现在dms设备离报警太晚了，已经太累了，没用。 我们可以用其他方法使这种疲劳检测更加准确，而且可以事先判断，让决策和执行机构根据感知结果进行决策和控制。 也有生理特征。 用同一台dms摄像机检测血流的多少变化，从而得到心率的状况。 心率变慢的话，也有可能开始进入疲劳状态。 这样各种各样的组合真的可以知道驾驶员的身体和生理状态是否疲劳。

安全带的检测、每个视角的摄像头、还有驾驶员玩手机、看手机、发微信等，都可以非常鲁棒地知道真正检测到了你的行为状态。 也可以通过三维视觉tof检测该手是否实际在方向盘上。

oms主要用于客运中，在汽车共享后部遗留的物品、乘客流量，例如比亚迪这样的客车企业，将人流统计应用于调车系统，可以根据车内乘客数量的情况实时监控，调配各条路线的公交车

对孩子的检查，无论是欧洲还是美国都开始制定法律，保护车上孩子的安全。 有没有孩子，有没有儿童座椅，不在座椅上，或者大人去了孩子留在上面，这些都有法律规定的要求，2024年以后所有的车都有可能搭载这个功能，这些可以通过视觉感知。

身份认证，简单来说就是可以用手机注册，上车后可以用同一台dms摄像头进行脸部识别驾驶员认证。

关于交互，现在的技术很多，对于司机来说，特别是对于卡车和大型车辆的司机来说，做手势有时更方便安全，所以可以用接电话、切歌等各种各样的手势进行机内操作。

视线会唤醒各种各样的屏幕。 现在，车上包括上述ems在内的各种屏幕都很大。 用照相机代替侧面内窥镜，通过视线的交换控制何时点亮。 另外，通过控制器进行交互也是视线唤醒的应用。

adas不用说很多话也是众所周知的。 我们几乎拥有所有功能的adas，比较车辆、车道线、行人、交通标志、地面交通标志、三维汽车模型、三次曲线拟合等，做着包括信号在内的许多工作。

avm，这是现在商用车上必须的功能。 因为我们进行了好几年的手机全景拍摄，所以拼接、畸变消除、重影消除等技术都积累了很多，我们用在车辆上很快就可以转换了。

( ppt拷贝)这是添加了透明机箱，解决了这些图像后，还可以看到机箱下面的样子。 这是增加了倒车导向、行人识别和障碍物识别，它们都有机地集成在同一个摄像头组的系统中。

说到死角，这是商用车中重要的技术之一。 确实，商用车死角非常大，特别是重型卡车和客车，司机真的看不见。 那么，如何帮助他们避免事故也是我们技术非常重视的部分。

死角因车而异，安装的摄像头数量和位置也不同，对视觉感知技术也有不同的要求。 我们的算法可以适应不同的车辆、位置和环境，将死角的危险降到最低。

另外，还可以在广角鱼眼摄像机上直接进行障碍物和行人车辆的非汽车检测，通过复用同一摄像机，无需增加其他设备，司机就可以看到，从而提醒有无危险、有无行人、有无其他障碍物。

我们有可行驶区域，检测到有行人，但不会在人行道上撞到你，所以这种情况下没必要提醒你。

另一个非常方便的功能是开门提醒。 我们可以用avm摄像机和其他摄像机与门锁控制联动。 这也是中国道路上经常发生的事故。

ar hud，这个的量产现在也更多了。 商用车今后可能还会使用。 确实可以让司机集中在前方的道路上，所以没必要去其他地方看。

最后说说车内娱乐系统，可以在车上做手机能做的事件，美颜，模糊背景，制造各种各样的ai事件。 对于轿车来说，这也是为了吸引年轻一代的客人，但是对于商用车来说，在休息中增加一点现场表演和美颜等也是可能的吗？

以上就是我们做的事件，虹软的特征是什么？

虹软做了二十多年事件的视觉感知算法。 我们的特征首先是算法的特征。 我们一站式处理，从基础图像的增强、图像的解决到图像的分解到智能的分解。 此外，它还是平台的特点。 我们建立的平台有很多。 无论是高通，ti的平台和其他平台都有比较的优化算法。 另外，由于服务的特点，搭载我们的设备100多亿台，我们有专业的服务队伍可以当场在车厂帮助你们落地。

我们的算法落地是覆盖所有影像视觉基础技术，ai、ar/vr之上，还有三维立体建模等都是非常成熟的方案。

关于算法，例如adas算法，这是视频的前方测试，在前方的静止车辆和静止行人的情况下，我们与市场上优秀的算法相比，我们的算法与他们相比，有些特点。 对静态行人也是一样，如果从80米开始前方有静态行人，从什么时候开始检测该行人，检测距离的精度也有比较高的测试，我们的算法有很多特点。

平台的特点是有主流平台，高通不需要多说。 我们是战术伙伴。 每次发布高通的新芯片，基本上都加入别名算法展示他们的效果。 其他的nxp、ti、ambarella、mtk等都有很好的落地例子。

从算法到平台20多年的耕耘，尼西软件拥有20多年的优化落地的能力。 我们认为对顾客来说，最关键的是达成他们，不仅仅是算法，更是落地。 对我们的产品来说，最重要的是算法和工程，我们经常说话的特点有三个: p :价格、性能、功率消费。 在各种环境中，暗光、强光分别表现出来。 我们多年来手机上芯片上的深度优化的沉积物对资源的利用非常高。 例如，假设要在现有硬件中添加功能。 例如，你对自己的dms不满意，但现在只有有限的资源。 可以换成我们的dms，让你能更好更准确吗？ 例如，如果只给dsp和cpu有限的计算能力，我们可以帮助你做到最好，做到最好。

谢谢你！