“安霸半导体杜典嵘：安霸AI视觉芯片在智能汽车中的应用”

6月29日-30日，列支敦士登汽车主办的“2021中国汽车半导体产业大会”隆重举行。 此次会议主要围绕中国汽车企业核心短缺的现状、供应链国产化安全建设、车载芯片平台构建设计、自动驾驶、智能座舱行业的芯片诉求和应用实例、电力半导体在三电的应用、芯片测试和功能安全等话题展开讨论，共谋产业未来快速发展的道路， 以下是安霸半导体汽车系统应用总监二重唱在这次大会上的发言。

安霸半导体汽车系统应用总监杜典嵚

各位嘉宾早上好。 我很高兴今天有机会和大家分享安博ai视觉芯片处理方案在智能车上的应用。

首先，介绍我们的企业。 安霸成立于2004年，专注于高清视觉芯片。 企业成立之初就推出了h.264视频编码芯片，凭借其高效的视频编码能力，我们很快就在专业的高清编码设备市场站稳了脚跟。

2007年，安霸中国在上海成立，设立深圳分企业。 安霸非常重视技术创新和技术积累，当地团队主要由资深研发人员组成，不仅是提供给中国市场的最新基于芯片的硬件参考设计，还有操作系统内核、基础驱动、中间件、应用方案的开发等

安博已经发售了基于AEC-q100等级2的车规芯片。 年推出10纳米工艺的基于cvflow体系结构的ai视觉芯片，除了工艺比上一代芯片先进之外，isp的性能优异，功耗低。 今年年初推出了5纳米工艺cv5，cv5在摄像头访问和视频解决能力方面有了很大的提高，适合新一代智能驾驶域控制器。 今年下半年，计算能力更强、工艺更先进的ai视觉芯片也将上市。

2019年，安霸获得博世集团最佳供应商奖。 它从全球43000家供应商中选出了47家在创新、质量、价格、供应链方面尤为优秀的公司，并授予了该奖项。

安博多年前就为车规级功能安全的质量认证做好了准备。 芯片路线图基本上是符合AEC-q100等级2的车规芯片，也有达到功能安全asil-b的芯片。 从硬件设计到sdk软件开发流程都符合iso26262标准，exida对整个开发流程进行了审核。 我们拥有iatf16949供应商的资格。

安霸ai视觉芯片cv2x系列为合作伙伴提供了开放的计算能力平台，客户和合作伙伴可以将他们的算法运行在我们的cv芯片平台上，满足市场上的各种APP应用。 安霸已经和国内主要的算法提供商进行了紧密的合作。

cv2x soc有三个主要的IP:h264/h265视频编码和图像解析。 我们有15年以上的图像解决经验。 我们有专业的低噪声解决算法和宽动态算法，使图像质量更清晰，细节更丰富，颜色更逼真，为后来的ai算法提供更好的数据源。 然后是cvflow，也就是我们的npu。 cvflow提供更小的延迟、更低的功耗。 cvflow是一个开放平台，支持市场上主要的神经互联网框架。 tensorflow、caffe、onnx、pytorch等均受支持。 从去年开始和百度深入合作，我们的互联网转换工具现在可以本机支持paddle框架了。 各种神经互联网模式基本上可以一键导入安霸cv芯片平台。 这三个核心硬件模块中的每一个都带有片上高速缓存，由cpu集中配置，分别发挥各自的作用，并高效运行。

防芯片搭载的isp解决能力很强，无论是胶囊内还是胶囊外，都针对各种场景进行了优化，能够很好地应对很多杂光场景。 cv2x系列最多可支持4kp60的实时解决能力、多图像传感器之间的同步式光谱解决、不同频带的光谱融合。

在这里播放视频。 左边是面包120db的高动态图像，隧道内外看得非常清楚； 右侧是搭载其他isp的解决效果，隧道内的细节丢失很多，隧道外完全露出。 目前，市面上的智能驾驶辅助系统在进出隧道时功能下降频繁。 以前有测试报告称，model3进出隧道时功能下降的比例达到了80%，但如果前端的图像如右的情况，再好的ai算法也无法使用。

在此说明芯片功耗，cv22aq是cv2x系列的中端芯片，用于前视adas。 我们跑典型的APP时，cpu负载量为80%，cvflow为80%，cv22aq+lpddr4的总功耗小于2瓦。 cv2x系列芯片中，机内多路视觉系统使用的cv25aq+dram功耗小于1.5瓦，多v接入l2+系统使用的cv2+dram功耗小于4瓦。

安霸在车载行业的处理方案是，单路和多路行车记录仪在许多车型上大量量产。 前装单行道和多路电子反射镜也已经批量生产，但反射镜其实是对isp要求非常高的产品，特别是在恶劣的情况下，晚上的低照度情况、雨天。 在晚上，数字图像传感器和优秀的isp组合使用，可以获得比人眼灵敏度更好的效果。 下雨天开车大家都知道，外面一下大雨，外后视镜和玻璃上就会沾上很多水珠。 集成了芯片的电子后视镜可以让车主清楚地看到车外的影像。

在飞机上的使用主要包括监视司机和乘客，首要看司机是否分心、疲惫、有没有体态特征。 在国内，人们倾向于添加face id来调节相关的配置参数，如座位位置、音乐开、大灯亮等。 机内监视首要的是观察乘客的表情、身体特征等，更重要的是能够检测出机内是否还有孩子和东西。 根据美国和欧洲法规的公布时间表，2022年以后，新车可能需要监控驾驶员和室内监控。

cv2x芯片可以访问多重摄像头，因此也可以访问face id刷脸解锁门。 该APP除了进行人脸识别外，其安全性达到金融支付水平，安霸拥有完善的芯片级安全机制支撑这一场景。

前视adas l2+小型控制器的多域控制方案。 安霸不断向汽车市场推出各种各样的车规芯片，只要车有视觉相关的应用，就可以在安霸的芯片家族中找到应对措施。

在这里，我就室内多重智能视觉+擦脸门打开的处理方案谈一下要点。 第一个是驾驶员的监控，首要的是评价驾驶员的行为和视线，但人类眨眼的频率非常高。 因为为了清晰地捕捉人眼的变化，需要搭载全球曝光的图像传感器。 二是乘客和室内监控，要求可见光强烈时提示彩色图像； 可见光弱的情况下，例如夜晚或昏暗的地下仓库中，用940纳米的ir灯补充光，呈现黑白图像。 要洗脸开门，不仅要进行普通的脸部识别，安全保证也很重要。 因为这个模块需要深刻的新闻，不使用照片和头型开门也需要脸部皮肤的纹理新闻。 还有一个方案，访问全局曝光、rgb图像传感器、rgb ir和tof传感器。 在tof传感器的平面图上进行脸部识别，在深度图像上进行活体检测。

驾驶员监控+胶囊内监控多模式处理方案。 校园监控摄像头可以使用1号~2号，为什么有这个必要呢？ 第一个理由是，与大型suv相比有第三排，一台照相机不能覆盖后两排的所有乘客。第二个理由是，也有在意第二排座位遗留物的车型，所以用一台照相机看乘客的脸，或者用一台专用照相机看第二排座位 建议使用cv25aq或cv28aq。 cv28aq的计算力接近1t，cv25aq是cv28aq的两倍。

胶囊内的照相机会看到人的脸，所以必须保护顾客的隐私。 在凸台的cv2x系列芯片上，有一个专用的安全相关硬件模块，提供安全的运行环境、信任链和不对称加密机制。 在此基础上，我们提供了一个完整的新闻安全计算框架。 顾客基于该框架实现了系统的启动安全，实现了ota的安全升级。 这两个是在长城咖啡智能客舱项目上实现的。 另外，保护乘客隐私非常重要的是，要加密车主、乘客的生物数据，对面部新闻进行脱敏。 另外，对于记录机内新闻的sd卡，也可以进行全面加密，以便即使丢失sd卡，上述新闻也不会被他人看到。

这里的rgb-ir解决的视频。 左边是彩色图像，右边是黑白图像。 这张照片是晚上，室内光线比较暗，用940的红外光补充光线，室内图像是黑白的； 船外有足够的招牌、信号灯等可见光，在这些地方可以看到彩色新闻。 在这里进行着ir和rgb的融合。

胶囊内智能视觉处理方案的参考设计被称为“大眼”，其上搭载的是cv25aq芯片，该参考设计可以覆盖前述胶囊内的所有应用场景，顾客只需要据此稍微裁剪一下就可以早日完成自己的ecu。 支持不同类型的多摄像头和访问，解析各道路的图像，独立运行不同的算法，支持fpd-link和gmsl1/2。 它支持车载以太网交换机，可用作室内可视域数据存储中心。

安霸的前视adas处理方案，近两年取得了很好的进展。 目前的出货方案主要是将基于cv22aq的200万图像传感器和100度镜头结合起来。 因为我们可以提供非常好的图像解析算法，所以对相关的ai算法非常有用。 通常，单现在看adas就有测距算法。 我们的isp在细节恢复方面非常出色，在这样的硬件结构中，大部分算法提供商adas算法的运行上基本可以实现150米的汽车稳定检测距离，100米以内的纵向误差为5%，横向误差为30米 我们在国内商用车市场占有率很高，安霸之前搭载adas程序的各种车相继落地。 轿车的落地周期比时间长，预计今年将批量生产搭载防芯片的方案。

这个标题除了adas之外还有“+”。 这是因为安霸cv2x单片实际上通过增加额外的摄像头模块，增加了新的功能。

上图为前视adas+dms，在cv22aq制作前视adas的ecu中加入全球曝光的图像传感器，即可加入dms驱动监控的功能。 cv22aq可通过单芯片实现前视adas+dms的二合一。 下面的照片是正面看的adas+dvr。 如果cv22的主流配备了200万摄像头，则其镜头通常为100度。 从这个立场来看，有可能无法满足国标dvr的标准。 因此，添加rgb图像传感器，搭载120度摄像头访问cv22上方，打开编码功能，即可实现前视adas和dvr。 这对主机厂很有吸引力。 前视adas目前正走向800万，通过800万摄像头和120度镜头与cv22aq连接。 此硬件配置可以复盖adas和dvr的功能。 另外，800万图像传感器可以提供更远的检测距离和更准确的精度，提高对许多复杂交通环境的适应性。

下面是l2+ adas处理方案，上面搭载的芯片是cv2aq，正面看是800万超高清摄像头，再搭载4个侧视高清摄像头支持高速场景adas。 tesla的乘坐方法是，在B柱上挂2个侧前部，在后视镜下挂2个侧后部。 另外，配备4台高清摄像机，也可以应对低速场景。 这是l2+ adas通用平台，我们为顾客提供APP开发的参考设计“明眸brighteye”。 上面搭载的是cv2aq芯片，cv2aq视频解决最多可以达到16mp30。

以上是我今天提到的几个主要的车载处理方案。 我们的cv2x系列芯片通用一整套sdk，感知算法和APP应用在一个芯片上运行优化，放在另一个芯片上基本上无缝过渡，这对于客户开发价格来说节约了很多。

总体来说，安霸芯片的三个独立核心——视频编码、isp图像解析、开放式ai平台。 它还提供了强大的互联网转换工具。 顾客算法可以很容易地在平台上运行。 拥有强大的国内技术团队，从硬件参考设计到sdk开发，从操作系统到基础驱动程序、中间件、上层APP、处理方案等，都是国内自主开发的。 我们对国内市场了解非常深，应对国内顾客也非常快。 我们的核心团队由芯片领域非常资深的软硬件人员组成，在安霸工作了10多年，是一支非常稳定、积极向上的团队。 我们以开放的计算力平台，与国内算法制造商深入合作，构建了强大而良好的生态系统。

谢谢您的聆听。 如果有机会的话，我想和大家更深入地合作。