芝能智驾 | 感知技术中的传感器融合

芝能科技出品

智能驾驶技术中，关于基于视觉的端对端是目前大家研究的重点，所以从目前来看，动态目标感知，是否需要做多传感器融合，这个问题是至关重要。

感知模块对周围环境中的动态目标进行检测和跟踪，在激光目标感知、视觉目标感知、毫米波目标感知等多个模块的基础上，将各传感器的感知结果进行综合处理，这个问题变得很关键。

01

融合模块

在基于安全的设计中，充分考虑传感器在不同天气和场景下的作用很关键。所以传感器融合模块不仅是感知系统的最后一环，更是系统的定义者。

根据动态目标的需求，搞清楚感知系统的最终目标，明确迭代方向，融合模块能够有效引导各个感知模块，在不同的天气下进行（扬尘、飞雪、雾霾、雨天水雾）。

多源数据融合算法在感知融合领域扮演着关键角色。通过将多个传感器获取的数据在不同级别进行融合处理，可以提高对目标的描述精度。主流的融合算法包括加权平均法、贝叶斯方法、卡尔曼滤波原理、DS证据理论推理和深度学习，各自有不同的适用环境和优缺点。

加权平均法简单直观，但权值分配主观且过于简单，导致融合效果不稳定。贝叶斯方法基于先验概率，但需要大量数据统计。卡尔曼滤波理论通过状态方程对系统状态进行估计和预测，适应复杂环境。

DS证据理论将不确定性转化为集合的不确定性，具有灵活度高的优点，但时间复杂度高且在多源输入存在冲突时效果不佳。深度学习模型通过大量数据和多次迭代训练来优化网络参数，具有较强容错能力和自适应能力，常用于处理不确定信息的融合。

02

多源数据融合

多源数据融合可分为目标级融合、特征级融合和数据级融合三个层次。

● 目标级融合提取原始数据中的目标信息，然后将不同传感器的信息进行关联匹配；

● 特征级融合接收特征信息进行匹配；

● 数据级融合对原始数据进行融合。

不同层次的融合具有不同的优缺点，选择取舍需考虑融合精度和速度。

数据处理方式可分为分布式、集中式和混合式。

● 分布式融合利用分布式结构进行假设生成和验证，可根据不同传感器生成感兴趣区域；

● 集中式融合利用不确定推理，每个传感器设置置信度后汇总信息；

● 混合式融合兼顾两者优点，具有灵活性和融合精度。

空间同步和时间同步是多源数据融合的关键问题。

● 空间同步涉及不同传感器坐标系的联合标定和转换；

● 时间同步涉及系统各模块同步到主时钟源，确保数据精确性。

基于深度学习的集中式、数据级、端到端融合框架可能成为主流，但面临数据同步和数据特性不一致等挑战。

小结

融合需要熟悉各传感器的性能和问题，还需要理解下游使用感知目标的具体策略和业务需求。在制定兜底策略时，必须明确“有所为有所不为”的原则，不仅要考虑系统的稳定性，更要着眼于功能的完整性和优化。目前来看，更多还是围绕安全去思考和解决问题的。