LightGBM中的特征选择与重要性评估

Echo_Wish

发布于 2024-02-23 08:32:54

1.7K00

代码可运行

文章被收录于专栏：数据结构和算法数据结构和算法

运行总次数：0

代码可运行

导言

在机器学习任务中，特征选择是提高模型性能和减少过拟合的重要步骤之一。LightGBM作为一种高效的梯度提升决策树算法，提供了内置的特征重要性评估功能，帮助用户选择最重要的特征进行模型训练。本教程将详细介绍如何在Python中使用LightGBM进行特征选择与重要性评估，并提供相应的代码示例。

加载数据

首先，我们需要加载数据集并准备数据用于模型训练。以下是一个简单的示例：

import lightgbm as lgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

# 加载数据集
boston = load_boston()
X, y = boston.data, boston.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

训练模型

接下来，我们使用LightGBM训练一个基础模型，并得到特征的重要性评估结果。以下是一个简单的示例：

# 定义数据集
train_data = lgb.Dataset(X_train, label=y_train)

# 定义参数
params = {
    'objective': 'regression',
    'metric': 'mse',
}

# 训练模型
num_round = 100
lgb_model = lgb.train(params, train_data, num_round)

# 输出特征重要性
feature_importance = lgb_model.feature_importance(importance_type='gain')
print("Feature Importance:", feature_importance)

特征选择

根据特征重要性评估结果，我们可以选择最重要的特征用于模型训练。以下是一个简单的示例：

# 选择最重要的特征
selected_features = [feature for feature, importance in enumerate(feature_importance) if importance > threshold]

# 使用最重要的特征训练新模型
X_train_selected = X_train[:, selected_features]
X_test_selected = X_test[:, selected_features]
train_data_selected = lgb.Dataset(X_train_selected, label=y_train)
lgb_model_selected = lgb.train(params, train_data_selected, num_round)