概率密度函数信息融合概述
李建勋 于兴凯
摘要：概率密度函数不仅包含了一阶、 二阶统计量信息， 还包含高阶统计量及更为复杂的特征信息。
多传感器的概率密度函数信息融合是信号处理领域一个复杂待解决的难题， 尤其是随着自动驾驶、 无人系统等领域对于多传感器多尺度信息融合的需求， 该问题的重要性逐渐凸显， 如何设计融合准则、 如何形成统一的融合框架是科学家和工程师们一直致力于解决的课题。
本文针对随机变量的多传感器获得的多概率密度函数融合问题， 调研了现有的融合理论和方法， 提供了一些融合设计规则、 准则、 原理和定理等， 如公理化方法、 优化方法和超贝叶斯方法， 期望能够为该问题的有效解决提供一定的方向性指导。
关键词：概率密度函数；
信息融合；
公理化；
池化函数；
超贝叶斯；
机器学习；
目标跟踪
中图分类号： TJ760文献标识码：A文章编号：
1673-5048（2023）03-0001-10
DOI：
10.12132/ISSN.1673-5048.2022.0205
0引言
目前， 针对状态信息的信息融合表达较多是以变量（标量、 向量、 矩阵）及随机变量的形式表示。
通过对变量的加权平均求融合中心或者通过对随机变量的均值和方差进行加权平均， 从而实现对多状态信息的融合。
然而， 均值和方差仅仅代表随机变量的一阶和二阶统计量信息， 高阶统计量信息及其内在的概率分布形态特征等信息， 在现实中大多被忽略， 进而导致融合效果欠佳。
典型的例子是非线性滤波问题。
通过泰勒展开得到的扩展卡尔曼滤波精度低， 而无迹卡尔曼滤波和粒子滤波通过估计状态的概率密度函数， 结合贝叶斯推理， 得到更为精确的状态估计值。
因而， 通过将不同傳感器的状态和观测量等特征信息统一到概率密度函数上进行求解与融合， 是一条实现多尺度融合的有效之路。
多传感器概率密度函数信息融合是一项富有挑战的技术难题， 并且在众多领域展示出较高的应用价值， 如航空航天［1-4］、 多传感器信息处理［5］、 机器人［6］、 环境感知［7］、 自动驾驶［8］、 经济与金融工程等［9-10］。
该难题在过去几十年中引起广泛的重视， 然而针对该问题的研究仍处于起步阶段， 有很多的障碍需要去跨越， 难以形成统一的融合框架［11］。
基于应用需求及理论难度， 本文从现有文献方法综述的角度， 简述现有思路与方法， 希望能抛砖引玉， 给广大科研工作者与工程师们以启示， 期许能够最终解决该问题， 形成一套完美的融合理论框架， 并能在工程中得到广泛应用。
1概率密度函数
连续型随机变量的概率密度函数是一个描述该随机变量输出值， 在某个确定取值点附近的可能性函数。
相较于随机变量的一阶二阶统计量（均值和方差）， 随机变量的概率密度函数也包含高阶信息及整个特征信息［12-15］， 主要表现在以下几方面：
（1） 概率密度函数构成了针对随机变量完整的概率描述。
除了可以表述一阶统计量（均值）和二阶统计量（方差）， 还包括其他高阶统计量等重要特征信息， 如有效规模、 多模态、 尾部衰减、 重尾［16］， 及其在均值周围的“离散”特征。
（2） 概率密度函数提供了传感器状态信息的标准化和“无关来源”描述， 即它是来自于传感器对原始数据复杂处理的抽象。
这种特性使得异类传感器、 不同感知方式以及不同类型数据之间能够进行融合［17］。
另外， 在具有高度隐私的工程应用中， 保密性是一个理想的特性， 也是概率密度函数能够提供的。
（3） 因概率密度函数提供了一种标准化、 与起源无关的描述， 所以其融合非常适合分布式（点对点）网络拓扑。
在分布式、 可自组网络中， 通常一个智能体只与其邻居节点进行通信， 非邻居节点的特征信息无法获得。
另外， 概率密度函数信息便于通过网络进行信息传播。
（4） 基于参数化表示的概率密度函数融合算法计算效率更高。
例如， 高斯分布的融合可退化到融合相应的均值和协方差矩阵；
高斯混合的概率密度函数融合能够表示为任意概率分布［15］。
在分布式的实现方式下， 参数化概率密度函数的描述能够以较低或中等通信成本实现概率密度函数信息融合， 因而概率密度函数信息融合以其较为适中的计算代价和通信复杂度成为关注的焦点。
以信号处理中的噪声参数采用概率密度函数进行刻画处理为实例， 分析采用概率密度函数进行信息处理的研究进展。
利用概率密度函数刻画噪声方差的动态特征， 进而对其与状态联合估计， 是近年来解决滤波噪声方差未知问题的有效手段， 并发表了大量的研究成果。
针对加性观测噪声未知的情形， Simo 等采用逆伽马分布（Inverse-Gamma）［18］ 和逆威沙特分布（Inverse-Wishart） ［19］ 来刻画动态时变的加性观测噪声方差， 并利用变分贝叶斯推理对其进行估计。
针对状态噪声和观测噪声方差均未知的情形， Huang等采用逆威沙特分布刻画， 基于变分贝叶斯推理， 可对其进行迭代估计［20］。 针对状态噪声和观测噪声为重尾非高斯的情形， Huang等用学生t （Students t）分布对其进行刻画， 并推导出相应的线性及非线性滤波器和平滑器［21-22］。
另外， 针对非平稳重尾状态和观测噪声情形， Zhu等通过对观测似然函数和一步预测建模为两个高斯分布的混合形式， 对其进行估计［23］。
针对非高斯噪声所表现的重尾或偏态分布特性， Huang等利用广义高斯尺度混合分布对其进行刻画， 提出鲁棒Rauch-Tung-Striebel平滑器框架［16］。 之后基于统计相似性度量， 又提出重尾鲁棒卡尔曼滤波框架［24］。
针对非稳态高斯分布具有强不确定性噪声方差阵的情形， Huang等利用Gaussian-Inverse-Wishart 混合分布对其进行刻画， 并提出相应的变分自适应滤波器［25］。
针对观测噪声非高斯且统计量未知的情形， Zhu等利用高斯混合概率模型对其进行刻画， 结合变分贝叶斯推理对其与状态进行联合估计［26］。 针对乘性噪声的方差估计问题， Yu等用概率密度函数对其进行刻画， 结合卡尔曼滤波及变分贝叶斯推理， 对方差与状态进行联合迭代估计［27］， 并扩展到加性噪声与乘性噪声方差皆未知的情形［28］。
针对目标跟踪系统中的观测噪声方差未知且含有不确定性参数的估计问题， Yu等基于概率密度函数刻画未知变量， 联合状态对其进行迭代估计［29-31］。
另外在红外目标跟踪、 图像处理［32-37］、 天气预测［38-43］、 概率机器学习［44-47］等领域， 用概率密度函数对目标状态进行处理也是极为常见的。
2融合规则与方法
概率密度函数信息融合规则有很多， 现有融合方法都是基于各自领域、 特定对象进行考量， 选取的融合规则和差异度量取决于场景和应用对象， 并未形成统一有效的方案。
由于不同融合规则在不同场景对象下可能导致差异性很大， 因而形成统一或多元化的方案迫在眉睫。
区别于融合（非随机）变量（标量、 向量、 矩阵）， 概率密度函数信息融合是直接对随机变量的概率密度函数进行融合， 而不是它的点估计。
该融合问题目标是为了寻找融合规则或者池化函数（Pooling Function）。
为此， 研究者提出各类型池化函数， 典型的有线性池化函数（加权算数平均， 也即算术平均密度）［48］、 对数线性池化函数（加权几何平均值， 也称为切尔诺夫融合或几何平均密度）等［49-50］。
需注意的一个特例：
对于高斯概率分布， 方差交叉融合技术是对数线性池化函数的一种特例［51］。
尽管有众多类型池化函数， 但仍没有一个被广泛认可。
现有池化函数主要概括为以下几类［10］：
（1）线性池化函数（Linear Pooling）；
（2）广义线性池化函数（Generalized Linear Pooling）；
（3）对数线性化池化函数（Log-Linear Pooling）；
（4）广义对数线性化池化函数（Generalized Log-Linear Pooling）；
（5） Holder池化函数（Holder Pooling）；
（6） 逆线性池化函数（Inverse-Linear Pooling）；
（7）乘性池化函数（Multiplicative Pooling）；
（8）广义乘性池化函数（Generalized Multiplicative Pooling）；
（9） Dictatorship 池化函数（Dictatorship Pooling）；
（10）教条池化函数（Dogmatic Pooling）。
基于现有文献调研， 设计概率密度函数信息融合池化函数需要遵循以下准则：
公理化方法、 优化方法和超贝叶斯方法。
2.1公理化方法
公理化方法就是要设计符合各种公理性质的融合规则（池化函数）， 并期望池化函数能够使各传感器概率密度函数信息遵循这些基本公理。
这是概率池化函数所必备的性质， 融合的目的也是寻求满足一定期望属性（公理）的池化函数。
2.1.1公理（Axiom）
（1） 公理1：
对称性（Symmetry）。
基本属性为对称性， 池化函数是一个对称函数。
由于融合中心的所有个体概率密度函数是平等的， 没有位次排序， 因而一个对称的池化函数是极其自然合理的。
（2） 公理2：
零保性能（Zero Preservation）。
如果每个传感器都认为某个事件是一个空事件， 即所有传感器都認为该事件的概率为0， 那么该事件的融合概率密度函数也应该是0， 此属性称为零保存属性。
（3） 公理3：
一致性（Unanimity Preservation）。 池化函数的另一个基本属性是保持个体间的一致性。
如果个体间的意见相同（即每个传感器对同一个事件的概率相同）， 则融合后的概率密度函数应一致符合该意见。
（4） 公理4：
强集合函数性（Strong Set-Wise Function Property， SSFP）。
一个池化函数需具备的一个特性是强集合函数性， 即根据融合概率密度函数， 一个事件的概率可以表示为基于每个个体事件概率的函数形式。
（5） 公理5：
弱集合函数性（Weak Set-Wise Function Property）。
相较于SSFP， 一个更宽松的标准为弱集合函数性， 根据融合概率密度函数， 一个事件的概率是一个关于每个个体事件和事件自身的概率函数。
（6） 公理6：
似然准则（Likelihood Principle）。
另一个SSFP的宽松条件为似然准则， 即融合概率密度函数在一些随机变量上的值， 是基于所有个体概率密度函数在同一随机变量上的值的一个标准化常数， 该常数取决于判定标准。
（7） 公理7：
弱似然准则（Weak Likelihood Principle）。
一个似然准则弱化版是融合概率密度函数关于随机变量独立。
（8） 公理8：
独立性（Independence Preservation）。
池化函数另一个需要确保的特性是独立性， 即所有个体皆认可两个事件是独立的， 那么融合概率密度函数也应认为这两个事件独立。
（9） 公理9：
因式分解（Factorization Preservation）。
两个独立事件的融合概率密度函数可在形式上分解为各自概率密度函数的乘积。
（10） 公理10：
外部贝叶斯特性（External Bayesianity）。
基于概率的贝叶斯更新， 假设所有的概率密度函数是正数， 外部贝叶斯特性描述了概率的更新和融合是交换运算。
该特性可满足当个体之间虽具有不同先验分布但仍共享相同数据（即全局似然函数）。
（11） 公理 11：
个性化贝叶斯特性（Individualized Bayesianity）。
该公理基于融合后验概率的思想， 即每个个体的后验概率基于各自数据（局部似然函数）， 而不是所有个体共享的相同数据。 个性化贝叶斯特性表示为在单个个体上概率密度函数的更新以及融合是交换运算。
（12） 公理12：
广义贝叶斯特性（Generalized Bayesianity）。
该公理表示概率密度函数的融合等价为融合似然函数。
2.1.2公理与池化函数的关系
概率密度函数融合所寻求的不同池化函数与各公理的相互适应性可概括为表1所示的公理满足性。
2.2优化法
设计的概率密度融合规则首先要选择满足某些公理特性的池化函数， 则如何融合， 即如何通过对池化函数进行优化求解得到融合结果。
该优化方法通过最小化个体概率密度函数和融合概率之间的某种概率化差异度量的加权平均值来获得融合池化函数， 其基本思想是使融合概率密度函数尽可能类似于所有个体的概率密度函数。
目标跟踪问题的另一个重要分支是多目标跟踪， 涉及未知的时变目标数量和更为复杂的观测模型［64-65］。
具体地， 目标随机出现和消失， 并且存在漏检、 杂波或虚警观测， 以及观测源不确定性（即传感器不知道给定观测源是否来自目标， 以及来自哪个目标， 或者是仅仅是杂波）。
概率池化函数既可用于“基于向量”的多目标跟踪方法， 该方法通过随机向量描述目标的联合状态， 也可用于基于“集合”的方法， “集合”方法通过随机有限集或等效的有限点过程来描述联合状态。
在基于向量方法下， 通常使用对数线性池化函数或协方差交互来融合目标状态。
另一方面， 在基于集合方法中， 概率密度函数信息融合应用于传感器的后验多目标概率密度函数或后验概率假设密度（PHD）之中， 这提供了所有目标状态的两种备选联合描述。
既使用对数线性池化、 指数混合密度、 广义协方差交互， 也使用了Kullback-Leibler平均和线性池化（也称为算术平均融合和最小信息损失融合）［66-70］。
对数线性池化函数对漏检更敏感， 而线性池化函数对杂波更敏感。
关于这种敏感性权衡， Holder池化函数族提供了介于线性和对数线性之间的池化函数选择。
最后， 对数线性和线性池化函数已推广到基于标记随机有限集的多目标跟踪方法， 该方法除了能跟踪目标的状态外， 还跟踪目标的身份标签［71-75］。
其中一些方法需要一个标签关联步骤， 该步骤本质上类似于基于向量方法中的目标关联步。
3.2概率机器学习
概率机器学习在众多领域得到广泛应用［44］， 包括量子动力学［76］、 疾病检测［77］、 医学诊断［78］和场景理解［79］。
在概率机器学习中， 涉及风险评估的问题需要用预测模型的不确定性对其进行量化。
然而， 经典机器学习模型没有考虑参数的不确定性， 使得在处理不可见、 不相关数据时更容易出错， 这是深度学习模型的一个突出问题。
解释机器学习中预测不确定性的一种方法是采用贝叶斯框架， 使用训练数据， 更新模型参数的先验概率密度函数以获得后验概率密度函数。然后， 该后验概率密度函数用于计算未观测数据（测试数据）的预测概率密度函数。
该概率密度函数通常以参数形式表示（高斯概率密度函数通过其均值和协方差矩阵）或一组样本进行参数化。
贝叶斯机器学习模型的应用示例包括贝叶斯线性回归、 贝叶斯神经网络［80-82］、 高斯过程［83］和深度高斯过程［84］。
在概率机器学习的某些场景中， 概率池化函数可用于解决实际挑战。
例如， 模型的选择通常不明显， 因此必须考虑模型不确定性， 以确保稳健性和通用性。
处理这个问题的一类典型方法称为集成学习。
通过基于不同模型的一组算法进行学习， 基于组合各个结果获得分类、 回归或聚类的最终结果。
融合各个概率学习算法产生的预测性概率密度函数可以通过概率意见池来实现［85-86］。
图5展示了概率融合产生预测后验概率密度函数的实例。
集成学习中的概率意见池已成功应用众多领域， 例如， 深度集成［87］、 神经网络集成［88］和集成高斯过程［89］等。
在集成学习中， 与多传感器信号处理不同， 特别是与之前的目标跟踪方法不同， 所有算法都可对同一组数据进行操作。
机器学习中的另一个挑战是隐私敏感场景。
在单个传感器节点处观察到的本地隐私数据， 可能不会跨节点传播或传播到融合中心， 因此只能用于各个传感器节点处训练本传感器局部模型。
该框架通常称为联合学习， 需要在融合中心融合局部模型。
虽然在联邦学习中， 更新是从融合中心传递到节点， 但仍有概率池沿线设置问题。
例如， 公平联邦学习将在隐私数据上训练得到的概率分布的样本表示为融合概率分布。
最后， 将机器学习方法应用于“大数据”场景需要分而治之的策略， 即将数据划分为更小的子集合， 对每个子集合执行学习， 并融合得到相应的预测或后验分布。
例如， 文献［80］为每个小数据集生成一个“子后验”， 并使用乘性池化函数组合子后验。
每个子后验最初由马尔可夫链蒙特卡洛采样器产生的一组样本表示， 但随后转换为由核密度估计给出的连续概率密度函数。
最后融合不同概率密度函数以形成对整体后验概率密度的近似。
这种方法是在条件独立性假设下， 以及在后验概率密度的基础上， 对后验概率分布函数进行乘法运算。
目前概率机器学习仍受到许多流行机器学习方法不提供概率结果这一事实的限制。
期望新研究将会消除这一限制， 从而提高概率池化函数即概率密度函数信息融合在该领域的成功应用。
4展望总结
不同类型传感器的多尺度融合在自动驾驶、 SLAM、 雷达目标跟踪、 图像处理、 机器学习、 医疗机器人等众多领域中一直是一个难题， 因为不同传感器信息难以在统一尺度上进行处理， 进而难以形成统一的融合框架。
基于本文概率密度函数信息融合方法， 不同类型传感器、 不同尺度的融合可以转化到概率密度函数这个统一框架下进行融合：
不同/相同类型多传感器信息处理也可以将数据统一到概率密度函数框架下进行融合处理；
不同類型摄像机获得的高光谱图像、 红外图像等也可以统一转化成概率密度函数形式， 通过基准转换， 实现差异化数据统一化处理。
参考文献：
［1］ Maddern W， Newman P. Real－Time Probabilistic Fusion of Sparse 3D LIDAR and Dense Stereo［C］∥IEEE/RSJ International Confe－rence on Intelligent Robots and Systems （IROS）， 2016：
2181-2188.
［2］ Fantacci C， Vo B N， Vo B T， et al. Robust Fusion for Multisensor Multiobject Tracking［J］. IEEE Signal Processing Letters， 2018， 25（5）：
640-644.
［3］ Meyer F， Hlinka O， Wymeersch H， et al. Distributed Localization and Tracking of Mobile Networks Including Noncooperative Objects［J］. IEEE Transactions on Signal and Information Processing over Networks， 2016 （1）：
57-71.
［4］ Uney M， Clark D E， Julier S J. Distributed Fusion of PHD Filters via Exponential Mixture Densities［J］. IEEE Journal of Selected Topics in Signal Processing， 2013， 7（3）：
521-531.
［5］ Bandyopadhyay S， Chung S J. Distributed Bayesian Filtering Using Logarithmic Opinion Pool for Dynamic Sensor Networks［J］. Automatica， 2018， 97：
7-17.
［6］ Da K， Li T C， Zhu Y F， et al. Recent Advances in Multisensor Multitarget Tracking Using Random Finite Set［J］. Frontiers of Information Technology & Electronic Engineering， 2021， 22（1）：
5-24.
［7］ Alam F， Mehmood R， Katib I， et al. Data Fusion and IoT for Smart Ubiquitous Environments：
A Survey［J］. IEEE Access， 2017， 5：
9533-9554.
［8］ Koloz B， Grant－Muller S M， Djemame K. Modelling Uncertainty in the Sustainability of Intelligent Transport Systems for Highways Using Probabilistic Data Fusion［J］. Environmental Modelling & Software， 2013， 49：
78-97.
［9］ Moral－Benito E. Model Averaging in Economics：
An Overview［J］. Journal of Economic Surveys， 2015， 29（1）：
46-75.
［10］ Koliander G， El－Laham Y， Djuric′ P M， et al. Fusion of Probabi－lity Density Functions［EB/OL］.（2022-02-23）［2022-09-25］.https：∥arxiv.org/abs/2202.11633v1.
［11］ Barak S， Arjmand A， Ortobelli S. Fusion of Multiple Diverse Predictors in Stock Market［J］. Information Fusion， 2017， 36：
90-102.
［12］ Mitchell J， Hall S G. Evaluating， Comparing and Combining Density Forecasts Using the KLIC with an Application to the Bank of England and NIESR ‘Fan Charts of Inflation［J］. Oxford Bulletin of Economics & Statistics， 2005， 67（S1）：
995-1033.
［13］ Hall S， Mitchell J. Combining Density Forecasts［J］.International Journal of Forecasting， 2007， 23（1）：
1-13.
［14］ Gneiting T. Editorial：
Probabilistic Forecasting［J］. Journal of the Royal Statistical Society Series A， 2008， 171（2）：
319-321.
［15］ Battistelli G， Chisci L. Kullback－Leibler Average， Consensus on Probability Densities， and Distributed State Estimation with Guaran－teed Stability［J］. Automatica， 2014， 50（3）：
707-718.
［16］ Huang Y L， Zhang Y G， Zhao Y X， et al. Robust Rauch－Tung－Striebel Smoothing Framework for Heavy－Tailed and/or Skew Noises［J］. IEEE Transactions on Aerospace and Electronic Systems， 2020， 56（1）：
415-441.
［17］ Yeong J， Velasco－Hernandez G， Barry J， et al. Sensor and Sensor Fusion Technology in Autonomous Vehicles：
A Review［J］. Sensors， 2021， 21（6）：
2140.
［18］ Sarkka S， Nummenmaa A. Recursive Noise Adaptive Kalman Filtering by Variational Bayesian Approximations［J］. IEEE Transactions on Automatic Control， 2009， 54（3）：
54.
［19］ Sarkka S， Hartikainen J. Non－Linear Noise Adaptive Kalman Filtering via Variational Bayes［C］∥IEEE International Workshop on Machine Learning for Signal Processing （MLSP）， 2013：
1-6.
［20］ Huang Y L， Zhang Y G， Wu Z M， et al. A Novel Adaptive Kalman Filter with Inaccurate Process and Measurement Noise Cova－riance Matrices［J］. IEEE Transactions on Automatic Control， 2018， 63（2）：
594-601.
［21］ Huang Y L， Zhang Y G， Li N， et al. A Novel Robust Students t－Based Kalman Filter［J］. IEEE Transactions on Aerospace and Electronic Systems， 2017， 53（3）：
1545-1554.
［22］ Huang Y L， Zhang Y G， Li N， et al. Robust Students t Based Nonlinear Filter and Smoother［J］. IEEE Transactions on Aerospace and Electronic Systems， 2016， 52（5）：
2586-2596.
［23］ Zhu H， Zhang G R， Li Y F， et al. A Novel Robust Kalman Filter with Unknown Non－Stationary Heavy－Tailed Noise［J］. Automatica， 2021， 127（2）：
109511.
［24］ Huang Y L， Zhang Y G， Zhao Y X， et al. A Novel Outlier－Robust Kalman Filtering Framework Based on Statistical Similarity Measure［J］. IEEE Transactions on Automatic Control， 2021， 66（6）：
2677-2692.
［25］ Huang Y L， Zhang Y G， Shi P， et al. Variational Adaptive Kalman Filter with Gaussian－Inverse－Wishart Mixture Distribution［J］. IEEE Transactions on Automatic Control， 2020， 66（4）：
1786-1793.
［26］ Zhu H， Leung H， He Z S. State Estimation in Unknown Non－Gaussian Measurement Noise Using Variational Bayesian Technique［J］. IEEE Transactions on Aerospace and Electronic Systems， 2013， 49（4）：
2601-2614.
［27］ Yu X K， Meng Z Y. Robust Kalman Filters with Unknown Cova－riance of Multiplicative Noise［EB/OL］.（2021-10-17）［2022-09-25］.https：∥arxiv.org/abs/2110.08740.
［28］ Yu X， Li J. Adaptive Kalman Filtering for Recursive Both Additive Noise and Multiplicative Noise［J］. IEEE Transactions on Aerospace and Electronic Systems， 2021， 58（3）：
1634-1649.
［29］ Yu X K， Jin G M， Li J X. Target Tracking Algorithm for System with Gaussian/Non－Gaussian Multiplicative Noise［J］. IEEE Transactions on Vehicular Technology， 2020， 69（1）：
90-100.
［30］ Yu X K， Li J X， Xu J. Robust Adaptive Algorithm for Nonlinear Systems with Unknown Measurement Noise and Uncertain Parameters by Variational Bayesian Inference［J］. International Journal of Robust and Nonlinear Control， 2017， 28（10）：
3475-3500.
［31］ Yu X K， Li J X， Xu J. Nonlinear Filtering in Unknown Measurement Noise and Target Tracking System by Variational Bayesian Inference［J］. Aerospace Science and Technology， 2019， 84：
37-55.
［32］ Claici S， Yurochkin M， Ghosh S， et al. Model Fusion with Kullback－Leibler Divergence［EB/OL］. （2020-07-13）［2022-09-25］.https：∥www.xueshufan.com/publication/304124 3646.
［33］ Delon J， Desolneux A. A Wasserstein－Type Distance in the Space of Gaussian Mixture Models［J］. SIAM Journal on Imaging Sciences， 2020， 13（2）：
936-970.
［34］ Cuturi M， Doucet A. Fast Computation of Wasserstein Barycenters［C］∥31st International Conference on Machine Learning， 2014：
2146-2154.
［35］ Merigot Q， Santambrogio F， Sarrazin C. Non－Asymptotic Convergence Bounds for Wasserstein Approximation Using Point Clouds［EB/OL］. （2021-06-15）［2022-09-25］.https：∥www.xueshufan.com/publication/3170414829.
［36］ Solomon J M， De Goes F， Peyré G， et al. Convolutional Wasserstein Distances：
Efficient Optimal Transportation on Geometric Domains［J］. ACM Transactions on Graphics， 2015， 34（4）：
1-11.
［37］ Bonneel N， Rabin J， Peyré G， et al. Sliced and Radon Wasserstein Barycenters of Measures［J］. Journal of Mathematical Imaging and Vision， 2015， 51（1）：
22-45.
［38］ Brockwell P J， Davi R A. Introduction to Time Series and Forecasting［M］. 3rd ed. Basel：
Springer， 2016.
［39］ Winkler R L， Grushka－Cockayne Y， Lichtendahl K C， et al. Probability Forecasts and Their Combination：
A Research Perspective［J］. Decision Analysis， 2019， 16（4）：
239-260.
［40］ Gneiting T， Ranjan R. Combining Predictive Distributions［EB/OL］.（2011-06-08）［2022-09-25］. https：∥arxiv.org/pdf/1106.1638.pdf.
［41］ Wallis K F. Combining Density and Interval Forecasts：
A Modest Proposal［J］. Oxford Bulletin of Economics and Statistics， 2005， 67（S1）：
983-994.
［42］ Bassetti F， Casarin R， Ravazzolo F. Bayesian Nonparametric Calibration and Combination of Predictive Distributions［J］. Journal of the American Statistical Association， 2018， 113（522）：
675-685.
［43］ Ranjan R， Gneiting T. Combining Probability Forecasts［J］. Journal of the Royal Statistical Society：
Series B （Statistical Methodo－logy）， 2010， 72（1）：
71-91.
［44］ Ghahramani Z. Probabilistic Machine Learning and Artificial Intelligence［J］. Nature， 2015， 521（7553）：
452-459.
［45］ Ching J Y， Phoon K K. Constructing Site－Specific Multivariate Probability Distribution Model Using Bayesian Machine Learning［J］. Journal of Engineering Mechanics， 2019， 145（1）：
04018126.
［46］ Thorgeirsson A T， Gauterin F. Probabilistic Predictions with Fe－derated Learning［J］. Entropy， 2020， 23（1）：
41.
［47］ Li T， Sahu A K， Talwalkar A， et al. Federated Learning：
Challenges， Methods， and Future Directions［J］. IEEE Signal Processing Magazine， 2020， 37（3）：
50-60.
［48］ Bailey T， Julier S， Agamennoni G. On Conservative Fusion of Information with Unknown Non－Gaussian Dependence［C］∥ 15th International Conference on Information Fusion（FUSION）， 2012.
［49］ Gunay M， Orguner U， Demirekler M. Chernoff Fusion of Gaussian Mixtures Based on Sigma－Point Approximation［J］. IEEE Transactions on Aerospace and Electronic Systems， 2016， 52（6）：
2732-2746.
［50］ Carmi A， Tslil O， Lehrer N. Log－linear Chernoff Fusion for Distributed Particle Filtering［C］∥ 22th International Conference on Information Fusion （FUSION）， 2019.
［51］ Hurley M B. An Information Theoretic Justification for Covariance Intersection and Its Generalization［C］∥ 5th International Conference on Information Fusion（FUSION）， 2002.
［52］ Puccetti G， Rüschendorf L， Vanduffel S. On the Computation of Wasserstein Barycenters［J］. Journal of Multivariate Analysis， 2020， 176：
104581.
［53］ Claici S， Chien E， Solomon J. Stochastic Wasserstein Barycenters［EB/OL］. （2018-06-07）［2022-09-25］. https：∥arxiv.org/pdf/1802.05757.pdf.
［54］ Peyré G， Cuturi M， Solomon J. Gromov－Wasserstein Averaging of Kernel and Distance Matrices［C］∥ International Conference on Machine Learning， 2016.
［55］ Bonneel N， Peyré G， Cuturi M. Wasserstein Barycentric Coordinates：
Histogram Regression Using Optimal Transport［J］. ACM Transactions on Graphics， 2016， 35（4）：
1-10.
［56］ Yang S S， Baum M， Granstrom K. Metrics for Performance Evalua－tion of Elliptic Extended Object Tracking Methods［C］∥IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems， 2016.
［57］ Thormann K， Baum M. Fusion of Elliptical Extended Object Estimates Parameterized with Orientation and Axes Lengths［J］. IEEE Transactions on Aerospace and Electronic Systems， 2021， 57（4）：
2369-2382.
［58］ Wang S X， Ye Z S. Distributionally Robust State Estimation for Linear Systems Subject to Uncertainty and Outlier［J］. IEEE Transactions on Signal Processing， 2021， 70：
452-467.
［59］ Wang S X， Wu Z M， Lim A. Robust State Estimation for Linear Systems under Distributional Uncertainty［J］. IEEE Transactions on Signal Processing， 2021， 69：
5963-5978.
［60］ Zorzi M. Robust Kalman Filtering under Model Perturbations［J］. IEEE Transactions on Automatic Control， 2017， 62（6）：
2902-2907.
［61］ Shafieezadeh－Abadeh S， Nguyen V A， Kuhn D， et al. Wassers－tein Distributionally Robust Kalman Filtering ［EB/OL］.（2018-10-01）［2022-09-25］. https：∥arxiv. org/pdf/1809.08830.pdf.
［62］ Winkler R L. The Consensus of Subjective Probability Distributions［J］. Management Science， 1968， 15（2）：
B-61-B-75.
［63］ Morris P A. Combining Expert Judgments：
A Bayesian Approach［J］. Management Science， 1977， 23（7）：
679-693.
［64］ Mahler R P S. Statistical Multisource－Multitarget Information Fusion［M］. Boston：
Artech House， 2007.
［65］ Mahler R P S. Advances in Statistical Multisource－Multitarget Information Fusion［M］. Boston：
Artech House， 2014.
［66］ Li T C， Wang X X， Liang Y， et al.On Arithmetic Average Fusion and Its Application for Distributed Multi－Bernoulli Multitarget Tracking［J］. IEEE Transactions on Signal Processing， 2020， 68：
2883-2896.
［67］ Gao L， Battistelli G， Chisci L. Multiobject Fusion with Minimum Information Loss［J］. IEEE Signal Processing Letters， 2020， 27：
201-205
［68］ Li G C， Battistelli G， Chisci L， et al. Distributed Multi－View Multi－Target Tracking Based on CPHD Filtering［J］. Signal Processing， 2021， 188（4）：
108210.
［69］ Mahler R P S， Hall D， Chong C Y， et al. Toward a Theoretical Foundation for Distributed Fusion［M］. Boca Raton：
CRC Press， 2012：
199-224.
［70］ Li T C， Fan H Q， García J， et al. Second－Order Statistics Analysis and Comparison Between Arithmetic and Geometric Average Fusion：
Application to Multi－Sensor Target Tracking［J］. Information Fusion， 2019， 51：
233-243.
［71］ Gao L， Battistelli G， Chisci L. Fusion of Labeled RFS Densities with Minimum Information Loss［J］. IEEE Transactions on Signal Processing， 2020， 68：
5855-5868.
［72］ Li S Q， Battistelli G， Chisci L， et al. Computationally Efficient Multi－Agent Multi－Object Tracking with Labeled Random Finite Sets［J］. IEEE Transactions on Signal Processing， 2019， 67（1）：
260-275.
［73］ Fantacci C， Vo B N， Vo B T， et al. Consensus Labeled Random Finite Set Filtering for Distributed Multi－Object Tracking［EB/OL］. （2016-06-09） ［2022- 09-25］. http：∥de.arxiv.org/pdf/1501.01579.
［74］ Li S Q， Yi W， Hoseinnezhad R， et al. Robust Distributed Fusion with Labeled Random Finite Sets［J］. IEEE Transactions on Signal Processing， 2018， 66（2）：
278-293.
［75］ Kropfreiter T， Hlawatsch F. A Probabilistic Label Association Algorithm for Distributed Labeled Multi－Bernoulli Filtering［C］∥ 23rd International Conference on Information Fusion（FUSION）， 2020.
［76］ Krems R V. Bayesian Machine Learning for Quantum Molecular Dynamics［J］. Physical Chemistry Chemical Physics， 2019， 21（25）：
13392-13410.
［77］ Leibig C， Allken V， Ayhan M S， et al. Leveraging Uncertainty Information from Deep Neural Networks for Disease Detection［J］. Scientific Reports， 2017， 7（1）：
17816.
［78］ Begoli E， Bhattacharya T， Kusnezov D. The Need for Uncertainty Quantification in Machine－Assisted Medical Decision Making［J］. Nature Machine Intelligence， 2019， 1：
20-23.
［79］ Kendall A， Badrinarayanan V， Cipolla R. Bayesian SegNet：
Mo－del Uncertainty in Deep Convolutional Encoder－Decoder Architectures for Scene Understanding［EB/OL］.（2016-10-10）［2022-09-25］. https：∥arxiv.org/pdf/1511.02680.pdf.
［80］ Neiswanger W， Wang C， Xing E. Asymptotically Exact， Embarrassingly Parallel MCMC［EB/OL］. （2014-03-21）［2022-09-25］. https：∥arxiv.org/pdf/1311.4780.pdf.
［81］ Wang H， Yeung D Y. Towards Bayesian Deep Learning：
A Framework and Some Existing Methods［J］. IEEE Transactions on Knowledge and Data Engineering， 2016， 28（12）：
3395-3408.
［82］ Wilson A G， Izmailov P. Bayesian Deep Learning and a Probabilistic Perspective of Generalization［EB/OL］. （2020-04-27）［2022-09-25］. https：∥arxiv.org/ pdf/2002. 08791v3.pdf.
［83］ Rasmussen C E， Williams C K. Gaussian Processes for Machine Learning［M］. Cambridge：
MIT Press， 2006.
［84］ Salimbeni H， Deisenroth M P. Doubly Stochastic Variational Inference for Deep Gaussian Processes ［EB/OL］. （2017-11-13）［2022-09-25］. https：∥arxiv.org/pdf/1705.08933.pdf.
［85］ Murphy K P. Machine Learning：
A Probabilistic Perspective［M］. Cambridge：
MIT Press， 2012.
［86］ Sagi O， Rokach L. Ensemble Learning：
A Survey［J］. Wiley Interdisciplinary Reviews：
Data Mining and Knowledge Discovery， 2018， 8（4）：
e1249.
［87］ Lakshminarayanan B， Pritzel A， Blundell C. Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles［C］∥ 31st International Conference on Neural Information Processing Systems， 2017：
6405-6416.
［88］ Lee H， Hong S， Kim E. Neural Network Ensemble with Probabilistic Fusion and Its Application to Gait Recognition［J］. Neurocomputing， 2009， 72（7/9）：
1557-1564.
［89］ Lu Q， Karanikolas G， Shen Y， et al. Ensemble Gaussian Processes with Spectral Features for Online Interactive Learning with Scalability［C］∥International Conference on Artificial Intelligence and Statistics， 2020.
Survey on Information Fusion of Probability Density Functions
Li Jianxun1， Yu Xingkai 2
（1. Department of Automation， Shanghai Jiao Tong University， Shanghai 200240， China; 2. Department of Precision Instrument， Tsinghua University， Beijing 100084， China）
Abstract：
The probability density function contains not only the first－order and the second－order statistics， but also the higher－order statistics and more complex feature information. Information fusion on probability density functions for multi－sensor is a challenging problem to be solved in the field of signal processing， especially in the application prospect of multi－sensor multi－scale information fusion for automatic driving and unmanned system， this problem has gradually attracted much attention. How to design fusion criteria and how to form a unified fusion framework are the to－pics that scientists and engineers are committed to solving. Aiming at the fusion of multiple probability density functions from multi－sensor of random variables （vectors）， this paper investigates the existing relevant fusion theories and methods， and provides some design rules， criteria， principles and theorems， such as axiomatic method， optimization method and super Bayesian method. The study is expected to provide some directional guide for the effective solution of the fusion problem.
Key words：
probability density function; information fusion; axiomatization; pooling function; supra－Bayesian; machine learning; target tracking
收稿日期：
2022-09-26
基金項目：
国家自然科学基金项目（61673265；
62103222）；
国家重点研究开发项目（2020YFC1512203）
*作者简介：
李建勋（1969-）， 男， 河北蔚县人， 教授， 博士生导师。