DC娱乐网

看到分享了一个地平线的新论文,关于如何将文字和图案算法融合的讨论,虽然抗博努力写

看到分享了一个地平线的新论文,关于如何将文字和图案算法融合的讨论,虽然抗博努力写的简单了,但是感觉大家理解还是有点难度,我来再简化下。

比如路牌看到说“前方路口右转”,摄像头看到右侧有行人、非机动车和临停车辆。

现在的系统算法,对于图片和行人是走两个算法去计算,这样在融合的过程中就会有问题,比如文字是去猜测下一个是什么?而图形可能是更想获取全部的信息后再做决定。

那这样的情况无疑就带来了冲突,比如文字告诉你右转,图形可能出现了不能右转的场景,这个时候如何去统一这种计算中出现的差异呢?

地平线提出的解决方案是:Multimodal Flow

它像是只有一套底层动力和导航系统:

•路牌仍然是路牌;•地图仍然是地图;•摄像头画面仍然是摄像头画面;

但它们都通过同一套“运动方向”来决定下一步怎么走。

因此,它证明了统一模型不一定要牺牲模态自己的结构,也不一定要为每种模态维护一套完全割裂的生成机制。

在地平线这个方法下的理想系统要把路口画面、导航意图、车辆下一步动作放在一起理解,再判断何时减速、何时转向,全面加强辅助驾驶的体验,避免目前大家体验过程中的顿挫感和延时感。

说实话,现在的 HSD2.0 的感觉已经足够好了,不知道后续会在哪个方面继续进步了?

可能是更全面的覆盖和稍加激进的效率吗?新能源汽车