“特斯拉为什么「抛弃」毫米波雷达”

5月25日，特斯拉官方博客宣布，autopilot正在转型为基于摄像头的tesla vision系统。

从2021年5月开始，北美制造的model 3和model y将不再搭载毫米波雷达。 这些车型通过特斯拉的摄像头视觉和深度神经互联网支持自动导频、fsd的完全自动驾驶和一些主动安全功能。

单价约300元人民币的前方雷达，销售规模超过45万台/年(年数据)，对于特斯拉的毫米波雷达供应商、顶级tier 1供应商大陆集团来说，中途放弃1亿台以上的订单不是什么好消息。

消除毫米波雷达

特斯拉证实，计算机视觉和深度神经互联网的解决将实现主动安全/ autopilot / fsd的感知诉求，但博客一出，各方立刻开始行动。

美国高速公路安全管理局( nhtsa )官网修订了包括前方防撞报警( fcw )、防撞自动刹车) cib )、动态刹车辅助) dbs )在内的2021机型model 3和model y的主动安全功能网页，

另外，《顾客报告书》宣布取消将2021的model 3作为“推荐”，美国高速公路安全保险协会( iihs )取消了对model 3曾经的top safety pick +的最高安全评价。

简单总结一下，特斯拉说拆除了毫米波雷达，用相机实现了雷达以前的能力，但所有人只听了前半段的话。

在我看来，各民间和监管安全机构现在对特斯拉过敏。 事实上，如果整理世界第一的视觉感知供应商mobileye多年的耕耘，将是使雷达从汽车主动安全范畴逐步移动的迅速发展史。

2007年，mobileye主动安全技术首次进入汽车领域。

年，融合雷达和摄像头的mobileye aeb被搭载在沃尔沃企业品牌上批量生产。

年，mobileye纯视觉前方防撞报警( fcw )在宝马、通用电气和欧宝企业品牌批量生产。

年，mobileye纯视觉车辆和行人自动紧急刹车( aeb )在宝马和日产企业品牌批量生产。

年，mobileye纯视自适应巡航控制( acc )在宝马企业品牌批量生产。

年，mobileye纯视觉全功能aeb进入众多oem。

但事件愈演愈烈。 特斯拉首席执行官Elonmusk被electrek误导了。 所有主动安全功能对新下线的车型都有效。 nhtsa下周将重新测试新车型。 目前删除雷达的车型标准配备了这些功能。

但是，公众的疑问没有被消除。 例如，雷达擅长的障碍物距离和速度的测量，正是摄像机之前就传来了弱势项目，特斯拉如何应对？

或者说，两种传感器比一种传感器无关紧要。 即使摄像机能做雷达工作，把两种传感器一起检测出来不好吗？

让我们谈谈这些问题。

计算机视觉+ rnn >雷达？

有必要了解雷达的技术原理及其在自动驾驶中所起的作用。

毫米波( millimeter-wave )雷达通过发送电磁波信号和接收目标反射信号，获得车身周围其他障碍物的相对速度、相对距离、立场、运动方向等。

通过解决这些新闻，汽车实现了自适应巡航控制( acc )、前方防撞报警) fcw、辅助进路变更) ) lca、自动跟踪车) ) s&； g )死角检测( bsd )等。

那么，特斯拉是如何通过摄像头得到上述消息的呢？ 例如，前车距离的评价吗？

年8月21日，elon在推特上表示，基于纯粹视觉的准确距离计算是基础，其他传感器可以帮助，但那不是基础。 他回复的博文介绍了特斯拉的专利“Estimatingobjectpropertiesusingimagedata”。

4月13日，特斯拉model 3车主、facebook分布式ai、机器学习软件工程师tristan rice“黑”进入自枕式固件，详细说明了特斯拉利用机器学习替代雷达的技术。

根据tristan的说法，从新固件的二进制文件中，autopilot的深度神经互联网添加了多个新的输出，除了现有的xyz输出外，还包括距离、速度、加速度等多个以前传送的雷达输出的数据

深度神经网络能从静态图像中读取速度和加速度吗？ 当然不行。

特斯拉训练了高度准确的rnn，通过基于15帧照片/秒时间序列的视频预测了障碍物的速度和加速度。

rnn又是什么？ rnn的关键词是预测。 现代神经网络，现代神经互联网。 顾名思义，基于环状神经互联网传播和解决新闻，通过“内部记忆”解决任意时间序列的输入序列，准确预测即将发生的事件。

NVIDIA的ai博客举过典型的例子。 假设餐厅的供应是烹饪法则，那么星期一的汉堡、星期二的墨西哥薄饼、星期三的披萨、星期四的寿司和星期五的意大利面。

对rnn来说，如果输入寿司寻求“星期五吃什么”的答案，ta就会输出预测结果“意大利面”。 rnn知道这是顺序，所以周四的菜刚做完。 因为接下来星期五的菜是意大利面。

在autopilot的rnn中，通过给出当前汽车周围行人、车辆和其他障碍物的移动路径，可以预测位置、速度、加速度等下一个移动轨迹。

事实上，在5月25日正式官宣删除雷达前几个月，特斯拉就将其rnn与世界队雷达并行运行，通过校准雷达输出的准确数据和rnn输出结果，提高了rnn预测的准确性。

一言以蔽之，特斯拉在中国交通状况下非常典型的加沙解决方面，也通过同样的路线交替实现了更好的表现。

特斯拉ai高级总监andrej karpathy在cvpr 2021的在线演讲中表示，就前车嘉塞( cut-ins )识别而言，特斯拉完成了对之前通过深度神经网络流传下来的规则算法的替换。

具体来说，autopilot以前检测插件是基于以下写入规则:首先识别车道，然后识别前方的车辆进行跟踪，在检测到前车速度达到插件的阈值等级速度之前不执行插件指令。

目前，autopilot的插件识别消除了这些规则，根据标记有rnn的海量数据完全进行前车的行为预测，如果rnn预测前车会插件，则执行插件命令。

这就是近几个月来特斯拉大幅改善了世嘉识别的技术原理。

前述的特斯拉专利中详细说明了特斯拉训练rnn的结构。

特斯拉将雷达和激光雷达(不是量产队，而是特斯拉内部的luminar激光雷达队)输出的正确数据与rnn识别出的对象进行关联，从而准确推断对象距离等对象属性。

在这个过程中，特斯拉开发了自动收集和关联辅助数据和视觉数据的工具，不需要人工标注。 另外，相关后可以自动生成用于训练rnn的训练数据，从而可以高精度地预测对象属性。

由于特斯拉全球团队规模超过100万辆，在大量场景数据的训练下，可以迅速改善rnn的性能。

如果将预测的准确性提高到与雷达输出结果同等的水平，rnn将形成相对于毫米波雷达的一大特征。

这是因为特斯拉autopilot只搭载了前方雷达，在城市情况下，在车辆各个方向乱飞的行人、自行车、摩托车的人不容易全部准确预测。 即使是正对面的、其45°探测范围内的障碍物，如果两个障碍物距离相同、速度相同，那么此前搭载的雷达也无法识别。

另一方面，autopilot搭载的8个摄像头实现了车身周围的360度覆盖，其编织的全车bev鸟瞰神经互联网可以无缝预测全车任何方位多个障碍物的下一次移动轨迹。

特斯拉为什么不保存雷达，而是利用雷达和摄像机两种传感器进行双重检查呢？

elonmusk详细说明了他对雷达和摄像机的看法:

在雷达波长上，现实世界看起来像奇怪的幽灵世界。 除了金属，大部分东西都是半透明的。

雷达和视觉感知不一致时，你相信哪一个？ 视觉投入两倍的能量改善视觉比押注两种传感器的融合更明智，因此具有更高的精度。

传感器的本质是比特流。 照相机的比特/秒新闻量比雷达和激光雷达高几个数量级。 雷达必须显着增加比特流的信号/噪声，使其值得合并。

随着视觉解决能力的提高，摄像机的性能远远超过了现在的雷达。

这个表现看起来很微妙。 在我们以前的文案《特斯拉:我是激光雷达的代言人》一文中，写了elon musk对毫米波雷达的态度。 在上面的发言中，他也没有“宣判”雷达在特斯拉的死刑。

“雷达必须显着增加比特流的信号/噪声，以使其值得合并。 “特斯拉autopilot马上要搭载图像雷达了吗？