2.3 实验结果与分析

在本节中，为了评估本章所提的CF-CRE方法的分类性能，使用公开的UCI数据集进行验证。与此同时，将CF-CRE方法和其他几种融合方法进行对比，以验证CF-CRE方法的有效性。

2.3.1 基础数据集

本实验使用UCI数据库中的15个真实数据集来评估本章所提融合方法的性能，并将其与其他9种融合方法进行比较。表2-1展示了所用数据集的基本信息。这些数据集中的数据包含多个属性。对每个数据集来说，整个属性集将被随机分为n个不同的子集，每个子集将分别用于训练基分类器。例如，SPECTF Heart数据集有44个属性，这些属性可以分为4个不同的子集，每个子集包含11个属性。基于每个子集的属性数据分别学习基分类器。

2.3.2 相关融合方法

本实验评估了9种相关的融合方法，包括平均融合（Average Fusion，AF）方法、加权平均融合（Weighted Average Fusion，WAF）方法、局部加权平均融合（Local Weighted Average Fusion，LWAF）方法、多数投票（Majority Voting，MV）方法、加权多数投票（Weighted Majority Voting，WMV）方法、局部加权多数投票（Local Weighted Majority Voting，LWMV）方法、DS方法、加权DS（Weighted DS，WDS）方法和局部加权DS（Local Weighted DS，LWDS）方法。这些融合方法的简要说明如表2-2所示。

在表2-2中，p_n表示分类器C_n的输出，l_n表示根据p_n做出的硬决策结果。例如，对于三分类问题，如果分类器得到p_n=[0.7，0.2，0.1]，则有硬决策H（p_n）=[1，0，0]。为进行DS融合，对和进行归一化，以使融合结果的总和等于1。表示使用可靠度因子α_n对基本置信值分配m_n进行折扣。

2.3.3 实验细节

为了展示本节提出的冲突程度评价指标的有效性，分别采用以前所用的严格不相似性算法DismP和广泛使用的J距离，它们可以很好地描述一对基本置信值分配之间的距离度量，本节使用这两种指标评估分类结果的相对可靠度来进行对比实验。

基分类器可以根据实际情况选择。本节实验选择证据神经网络（Eviden-tial Neural Network，ENN）和朴素贝叶斯分类器作为基分类器。在第一个测试中仅用ENN作为基分类器，在第二个测试中仅用朴素贝叶斯分类器作为基分类器。结合证据理论的ENN产生的分类结果包括单个焦元和全部未知焦元，即Ω。置信质量m（Ω）通常很小，并且会成比例地分配到框架内的其他单个焦元上。因此，ENN分类器的输出可以转换为概率值，然后进行可靠度评估。本节使用不同的属性子集分别训练基分类器，并融合不同分类器的分类结果对目标进行分类。目标的预测类别为获得最大支持度的类别。对于使用概率框架（如朴素贝叶斯分类器或平均融合规则）的方法，支持程度由分配给每个类别的概率值表示。对于使用基本置信值函数框架的分类方法（如采用DS融合方法的ENN分类器或采用本节所提方法的贝叶斯分类器），支持程度用似然函数Pl（·）表示。

分类器的加权因子通常是根据各个分类器的精度确定的，这里简要介绍3种常用的计算分类器权重的公式，如式（2-8）～式（2-10）所示。式（2-8）给出了简单的权重确定方法，将每个分类器归一化的准确率视为该分类器的权重。式（2-9）定义了最大最小加权方式，具有最大（或最小）精度的分类器的权重被视为1（或0），其他分类器的权重则在两个极端之间进行线性评估。式（2-10）采用对数函数来计算分类器的权重。它只将正权重分配给精度大于0.5的分类器，而其他精度小于0.5的分类器将在融合中被删除。式（2-8）～式（2-10）在实践中均得到了广泛应用。

式中，η_i表示被分到第i类的样本数；；；，n_c是正确分类的样本数，T是总样本数；η_n是分类器C_n在整个数据集上的准确率。

此外，实验中还考虑了根据目标邻域计算的局部精度，其基于训练数据空间中目标y的k近邻的分类结果得出，计算公式为，也用来确定分类器C_n关于目标y的局部精度，其中K是所选近邻的数目，是正确分类的近邻的数量。局部精度可以很好地反映分类器在目标邻域的可靠度。可以将式（2-8）～式（2-10）中的η_n替换为来计算局部加权因子。

k折交叉验证通常用于分类性能评估，k是自由参数。实验中使用最简单的双重交叉验证，因为训练数据集和测试数据集很大，每个样本可以分别用于每折的训练和测试。在k近邻的选择中，测试K值为5～20时局部加权融合方法和本章所提融合方法的分类性能。实验测试了式（2-8）～式（2-10）所示的3种加权方式，并展示了最佳结果。在实验中，可以使用训练数据优化参数γ ∈[5，20]和λ∈[0，1]，并采用与最高精度相对应的优化值。表2-3和表2-4列出了K ∈[5，20]时不同融合方法的平均分类结果（平均准确度）。为了简明起见，在表2-3和表2-4中将DismP、J距离和新的冲突程度评价指标的分类器融合方法分别表示为CRED、CREJ、CREI。图2-1和图2-2展示了不同融合方法在不同K值下的分类结果。其中横轴表示K值，纵轴表示分类精度。

2.3.4 结果分析

在表2-3和表2-4中，n表示分类器的数量，每个分类器对应一个属性子集。η_l和η_u分别代表单个分类器融合后分类精度的下限和上限。最大精度值以加粗字体显示。

对表2-3和表2-4中的结果进行分析可知，对于单独使用的每个分类器，多分类器融合方法通常可以提高分类准确度。这证明了分类器融合的优点。同时可以看到，CREJ、CRED和CREI融合方法通常能比其他传统融合方法产生更高的分类精度，这要归功于本章提出的CF-CRE方法，该方法包括内部可靠度评估和相对可靠度评估。由矩阵表示的内部可靠度为衡量分类器局部分类质量提供了非常重要和精确的先验知识，它准确地表示了目标属于某一类却被指定给另一类的条件概率。通过谨慎折扣来根据内部可靠度矩阵校正对目标的分类结果，可以提高分类准确度。基于分类器之间的冲突程度得出的相对可靠度评估可以降低分类器之间的冲突程度以获得合理的融合结果。在其他加权融合方法中，加权因子主要是基于总体分类准确度来计算的，它们无法很好地捕捉到分类器针对每个目标的可靠度知识。这就是CF-CRE方法优于传统融合方法的原因。此外，在大多数情况下，本章所提的CF-CRE方法能够得到最高的分类精度。这是因为进行相对可靠度评估时在一定程度上可以容忍分类结果的差异，并且可以很好地保留分类器之间的互补信息，有助于实现最佳融合性能。

从图2-1和图2-2中可以观察到，CF-CRE方法的分类性能对K值的变化不是很敏感，这是因为它有效地考虑了从物体到其近邻的距离的影响。在内部可靠度评估中，距离越远，该近邻的权重（影响）越小。在CF-CRE方法中，距离目标很远的近邻对目标的分类影响很小。实验结果表明，CF-CRE方法相对于K值是鲁棒的，这对实际应用而言是一个很好的特性。因此，建议应用更小的K值以减少计算负担。

在分类器融合中，经常会遇到不同分类器的分类结果高度冲突甚至完全矛盾的情况，这可能导致不合理的融合结果。本章所提的融合方法能够很好地处理冲突情况，有效提高分类精度。如实验所示，本章所提融合方法基于内部可靠度，采用谨慎折扣规则将置信质量从单一类转移到相关的复合类中。实际上，该步骤使来自不同分类器的分类结果更接近真值，以提高准确性。这样，通过对部分不精确度进行适当的建模，可以降低分类器之间的冲突程度，有利于后续分类器融合过程中的再次具体化分类。之后，根据每个分类器与其他分类器的冲突程度来评估其相对可靠度，对与其他分类器高度冲突的分类器分配较小的可靠度。Shafer的证据加权折扣方法与相对可靠度共同应用，将部分焦元的置信质量按比例折算为总的未知程度，这能够有效降低分类器之间有害冲突的影响。因此，本章所提的CF-CRE方法可以通过正确地处理冲突信息来得到较高的分类精度。

2.3.5 参数敏感性分析

在本章所提方法中，式（2-1）中的参数γ和式（2-3）中的阈值λ需要根据实际应用情况进行调整。在确定内部可靠度时，需要计算目标与其近邻之间的距离，因此使用γ来调整距离的影响。γ值越大，近邻对可靠度评估的影响越小。经过对多个实际数据集进行多次测试，我们发现使用γ ∈[5，20]能够实现良好的分类性能，所以我们建议将γ=10作为默认值。至于阈值λ，可以将其视为分类结果差异的容忍度阈值。较小的λ值会将更多的类别视为潜在的真实类别，因此不同的分类结果将更有可能支持共同的潜在真实类别。更多的分类结果可以被认为没有冲突，这通常会导致较高的相对可靠度（最高为1）。但是，过小的λ值不能有效地降低分类器之间的冲突程度；而较大的λ值会降低分类结果差异的容忍度，并且对与其他分类器有冲突的分类器来说，可能导致其相对可靠度过低。过大的λ值将对融合过程中存在冲突的分类器造成不利影响。因此，考虑取λ=0.5作为默认值。在应用中，可以通过训练数据进行交叉验证来优化调整参数γ和λ，选择与最高精度相对应的优化值。