基于Lasso和模糊互信息多标记特征选择算法-Linux大棚

admin 管理员组

文章数量: 1087821

2024年4月15日发(作者：concatente函数的操作)

数据库技术

•

Data Base Technique

基于Lasso和模糊互信息多标记特征选择算法

文/孟金彪钱萌李存志翟静波

空间的模糊互信息，根据模糊互信息的大小对

本文提出一种基于Lasso和

摘

特征依次进行排序，得出最终特征子集。通过

模糊互信息多标记特征选择算法。

要

本文所提的算法在6个多标记数

实验结果表明本文算法是有效的。

据集上进行了测试，实验结果和

统计假设检验说明本文算法是有

1 模糊信息熵

效的。

定义1假设样本空间的描述记为论域U，

论域U可根据某种特征属性进行划分，假设

根据特征属性对论域U进行划

【关键词】多标记学习模糊互信息 Lasso算

分记，则模糊信息熵定

法特征选择

义如下：

多标记学习广泛应用于机器学习、人工

（1）

智能等方面。在多标记学习中，数据集往往具

有高维性和高冗余性等特点，从而导致维数灾

其中E(X)为模糊熵，公式（2）中表

难。特征选择作为一种有效的降维方式，其通

示在论域U中等价类X

的概率，

过删除冗余或不相关特征来提高分类模型精度

的目的。

表示在论域U中的X

的互补概率。

目前，众多学者已提出多种效果较优的

定义2类似的，模糊互信息定义为：

特征选择算法。例如Lee等提出了基于多变量

互信息的多标记特征选择算法（PMU）。Lin

（2）

等提出了基于邻域互信息的多标记特征选择算

2 结合Lasso与模糊互信息的特征选择算

法。

法

然而，上述特征选择算法在选择特征子

集时都有计算开销过大的问题。为解决该问

2.1 基于Lasso算法的特征降维

题，近年来，一种基于线性回归模型的降维方

法-Lasso算法，其因高效的性能在特征选择

Lasso算法是一种同时进行特征选择和正

领域得到了广泛的关注。Lasso通过对变量进

则化的线性回归分析方法，其基本思想是在回

行选择和压缩来降低原始特征空间的维度，该

归系数绝对值之和小于一个阈值的条件下，使

算法的基本思想是在构建线性回归模型时，其

残差平方和最小化，将相关性较低的变量的系

回归系数绝对值之和小于一个阈值的约束条件

数压缩为0，然后删除这些特征变量，从而达

下，使绝对值较小的回归系数自动压缩为0，

到降低特征空间维度的目的。另外，Lasso算

从而得到可解释的模型。另外，在常见的特征

法还能有效的防止过拟合问题。针对多标记学

选择算法中，主要利用传统熵方法来判断特征

习，Lasso构造的函数如下：

与标记空间之间的相关性。但传统信息熵不具

有补的性质，因此，用模糊信息替代传统信息

（3）

熵。在选择特征子集的过程中，为了提高分类

式（3）中，是控制稀疏矩阵

性能的同时并缩减算法计算开销过大的问题，

的参数，Lasso回归是一个

本文首先利用Lasso算法对特征空间降维，求

凸优化问题，但由于其是通过1范式构造的惩

解出每个特征在每个标记下的回归系数，系数

罚函数，因此稀疏矩阵不能直接求解。本论文

为0所对应的特征都视其为冗余特征并将其删

中，将用交替方向乘子法（ADMM）来将式（3）

除，得出新的特征空间。然后结合模糊信息熵

转换为2个子问题求解，式（3）可以利用拉

对新的特征空间中所有特征分别计算其与标记

格朗日形式重新构造为：

●基金项目：基于步态触觉特征的身份识别（2）资助。

186 •

电子技术与软件工程

本文标签：特征数据算法进行实验室

版权声明：本文标题：基于Lasso和模糊互信息多标记特征选择算法内容由网友自发贡献，该文观点仅代表作者本人，转载请联系作者并注明出处：http://www.roclinux.cn/p/1713179562a622737.html，本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。