使用 IAMB 算法进行特征选择：浅谈机器学习

所以，故事是这样的——我最近完成了庄教授的一项学校作业，其中涉及一种非常酷的算法，称为增量关联马尔可夫毯子（iamb）。现在，我没有数据科学或统计学的背景，所以这对我来说是新领域，但我喜欢学习新东西。目标？使用iamb选择数据集中的特征并查看它如何影响机器学习模型的性能。

我们将回顾 iamb 算法的基础知识，并将其应用于 jason brownlee 数据集中的 pima indians diabetes dataset。该数据集跟踪女性的健康数据，包括她们是否患有糖尿病。我们将使用iamb来找出哪些特征（例如bmi或血糖水平）对于预测糖尿病最重要。

什么是iamb算法，为什么使用它？

iamb 算法就像一个朋友，可以帮助您清理谜团中的嫌疑人列表 - 它是一种特征选择方法，旨在仅挑选出对预测目标真正重要的变量。在本例中，目标是某人是否患有糖尿病。

正向阶段：添加与目标强相关的变量。
向后阶段：删除那些没有真正帮助的变量，确保只留下最关键的变量。

简单来说，iamb 通过仅选择最相关的特征来帮助我们避免数据集中的混乱。当您想让事情变得简单、提高模型性能并加快训练时间时，这尤其方便。

来源： 大规模马尔可夫毯子发现算法

这是什么阿尔法事物，为什么它很重要？

这就是 alpha 的用武之地。在统计学中，alpha (α) 是我们设置的阈值，用于决定什么算作“具有统计显着性”。作为教授指示的一部分，我使用了 0.05 的 alpha，这意味着我只想保留与目标变量随机关联的概率小于 5% 的特征。因此，如果某个特征的 p 值 小于 0.05，则意味着与我们的目标存在很强的、具有统计显着性的关联。

通过使用这个 alpha 阈值，我们只关注最有意义的变量，忽略任何未通过我们“显着性”测试的变量。它就像一个过滤器，保留最相关的特征并剔除噪音。

动手实践：在皮马印第安人糖尿病数据集上使用iamb

设置如下：皮马印第安人糖尿病数据集具有健康特征（血压、年龄、胰岛素水平等）和我们的目标，结果（是否有人患有糖尿病）。

首先，我们加载数据并检查：

import pandas as pd
# load and preview the dataset
url = 'https://raw.githubusercontent.com/jbrownlee/datasets/master/pima-indians-diabetes.data.csv'
column_names = ['pregnancies', 'glucose', 'bloodpressure', 'skinthickness', 'insulin', 'bmi', 'diabetespedigreefunction', 'age', 'outcome']
data = pd.read_csv(url, names=column_names)
print(data.head())

实施 alpha = 0.05 的 iamb

这是我们的 iamb 算法的更新版本。我们使用 p 值 来决定保留哪些特征，因此仅选择那些 p 值小于我们的 alpha (0.05) 的特征。

import pingouin as pg
def iamb(target, data, alpha=0.05):
    markov_blanket = set()
    # forward phase: add features with a p-value < alpha
    for feature in data.columns:
        if feature != target:
            result = pg.partial_corr(data=data, x=feature, y=target, covar=markov_blanket)
            p_value = result.at[0, 'p-val']
            if p_value < alpha:
                markov_blanket.add(feature)
    # backward phase: remove features with p-value > alpha
    for feature in list(markov_blanket):
        reduced_mb = markov_blanket - {feature}
        result = pg.partial_corr(data=data, x=feature, y=target, covar=reduced_mb)
        p_value = result.at[0, 'p-val']
        if p_value > alpha:
            markov_blanket.remove(feature)
    return list(markov_blanket)

# apply the updated iamb function on the pima dataset
selected_features = iamb('outcome', data, alpha=0.05)
print("selected features:", selected_features)

当我运行此程序时，它为我提供了一份详细的功能列表，iamb 认为这些功能与糖尿病结果最密切相关。此列表有助于缩小我们构建模型所需的变量范围。

selected features: ['bmi', 'diabetespedigreefunction', 'pregnancies', 'glucose']

测试iamb选择的特征对模型性能的影响

一旦我们选择了特征，真正的测试就会将模型性能与所有特征与iamb选择的特征进行比较。为此，我使用了一个简单的高斯朴素贝叶斯模型，因为它很简单并且在概率方面表现良好（这与整个贝叶斯氛围相关）。

这是训练和测试模型的代码：

from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, f1_score, roc_auc_score

# Split data
X = data.drop('Outcome', axis=1)
y = data['Outcome']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Model with All Features
model_all = GaussianNB()
model_all.fit(X_train, y_train)
y_pred_all = model_all.predict(X_test)

# Model with IAMB-Selected Features
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

model_iamb = GaussianNB()
model_iamb.fit(X_train_selected, y_train)
y_pred_iamb = model_iamb.predict(X_test_selected)

# Evaluate models
results = {
    'Model': ['All Features', 'IAMB-Selected Features'],
    'Accuracy': [accuracy_score(y_test, y_pred_all), accuracy_score(y_test, y_pred_iamb)],
    'F1 Score': [f1_score(y_test, y_pred_all, average='weighted'), f1_score(y_test, y_pred_iamb, average='weighted')],
    'AUC-ROC': [roc_auc_score(y_test, y_pred_all), roc_auc_score(y_test, y_pred_iamb)]
}

results_df = pd.DataFrame(results)
display(results_df)

结果

比较如下：

使用 IAMB 算法进行特征选择：浅谈机器学习

仅使用iamb选择的功能可以略微提高准确性和其他指标。这并不是一个巨大的飞跃，但我们用更少的功能获得更好的性能这一事实是有希望的。另外，这意味着我们的模型不依赖“噪音”或不相关的数据。

要点

iamb 非常适合特征选择：它通过仅关注对预测目标真正重要的内容来帮助清理我们的数据集。
少即是多：有时，更少的特征会给我们带来更好的结果，正如我们在这里看到的，模型准确性略有提高。
学习和实验是有趣的部分：即使没有深厚的数据科学背景，深入研究这样的项目也可以开辟理解数据和机器学习的新方法。

我希望这能给 iamb 一个友好的介绍！如果您好奇，请尝试一下 - 它是机器学习工具箱中的一个方便的工具，您可能会在自己的项目中看到一些很酷的改进。

来源： 大规模马尔可夫毯子发现算法

以上就是使用 IAMB 算法进行特征选择：浅谈机器学习的详细内容，更多请关注硕下网其它相关文章！