【python】在【机器学习】与【数据挖掘】中的应用：从基础到【AI大模型】

小李很执着

发布于 2024-06-15 10:29:49

980

发布于 2024-06-15 10:29:49

文章被收录于专栏：学习笔记学习笔记

在大数据时代，数据挖掘与机器学习成为了各行各业的核心技术。Python作为一种高效、简洁且功能强大的编程语言，得到了广泛的应用。

💗一、Python在数据挖掘中的应用💕

💖1.1 数据预处理💞

数据预处理是数据挖掘的第一步，是确保数据质量和一致性的关键步骤。良好的数据预处理可以显著提高模型的准确性和鲁棒性。

数据清洗💞

数据清洗是数据预处理的重要组成部分，主要包括去除缺失值、去除重复值和处理异常值。

import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 数据清洗
data = data.dropna()  # 去除缺失值
data = data.drop_duplicates()  # 去除重复值

数据变换💞

数据变换包括将数据从一种格式转换为另一种格式，例如将字符串日期转换为日期对象，以便于进一步分析和处理。

data['date'] = pd.to_datetime(data['date'])  # 日期格式转换

数据归一化💞

数据归一化是将数据缩放到特定范围内，以消除不同特征之间量级的差异，从而提高模型的性能和训练速度。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
data[['feature1', 'feature2']] = scaler.fit_transform(data[['feature1', 'feature2']])

高级预处理技术💞

除了基本的清洗和归一化外，高级预处理技术还包括缺失值填补、异常值处理和数据增强等。

缺失值填补：利用插值法或KNN方法填补缺失值。
异常值处理：利用Z-score方法检测并处理异常值。
数据增强：通过随机裁剪、翻转、旋转等方法增加数据的多样性。

# 使用插值法填补缺失值
data = data.interpolate()

# 使用KNN方法填补缺失值
from sklearn.impute import KNNImputer

imputer = KNNImputer(n_neighbors=3)
data_imputed = imputer.fit_transform(data)

# 使用Z-score方法检测异常值
from scipy import stats
import numpy as np

z_scores = np.abs(stats.zscore(data))
data = data[(z_scores < 3).all(axis=1)]

💖1.2 特征工程💕

特征工程是提升模型性能的重要手段。

特征选择💕

特征选择是从原始数据中选择最具代表性的特征，以减少数据维度，提高模型的性能和训练速度。

from sklearn.feature_selection import SelectKBest, f_classif

# 特征选择
X = data.drop('target', axis=1)
y = data['target']
selector = SelectKBest(score_func=f_classif, k=5)
X_new = selector.fit_transform(X, y)

特征提取💕

特征提取是从原始数据中提取新的、更具代表性的特征，如通过主成分分析（PCA）进行降维。

from sklearn.decomposition import PCA

pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

特征构造💕

特征构造是通过组合或转换现有特征来创建新的特征，从而提高模型的预测能力。例如，创建交互特征或多项式特征。

from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2, interaction_only=True)
X_poly = poly.fit_transform(X)

💗二、Python在机器学习中的应用💕

💖2.1 监督学习💞

监督学习是机器学习的主要方法之一，包括分类和回归。Scikit-learn是Python中常用的机器学习库，提供了丰富的模型和工具。

分类💞

分类任务的目标是将数据点分配到预定义的类别中。以下示例展示了如何使用随机森林分类器进行分类任务。

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建随机森林分类器
clf = RandomForestClassifier(n_estimators=100, random_state=42)
clf.fit(X_train, y_train)

# 预测
y_pred = clf.predict(X_test)

# 评估
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.2f}')

回归💞

回归任务的目标是预测连续值。例如，使用线性回归模型来预测房价。

from sklearn.linear_model import LinearRegression

# 构建线性回归模型
model = LinearRegression()
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

# 评估
from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_test, y_pred)
print(f'Mean Squared Error: {mse:.2f}')

使用随机森林分类器进行分类任务。首先，将数据集划分为训练集和测试集，然后构建随机森林分类器并进行训练，最后在测试集上进行预测并计算准确率。

💖2.2 非监督学习💞

非监督学习主要用于聚类和降维。KMeans和DBSCAN是常用的聚类算法。

聚类💞

聚类算法将相似的数据点分配到同一组。以下示例展示了如何使用KMeans算法进行聚类，并将结果可视化。

from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

# 构建KMeans模型
kmeans = KMeans(n_clusters=3, random_state=42)
data['cluster'] = kmeans.fit_predict(data)

# 可视化聚类结果
plt.scatter(data['feature1'], data['feature2'], c=data['cluster'])
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('KMeans Clustering')
plt.show()

降维💞

降维技术可以减少数据的维度，使得数据更易于可视化和分析。例如，使用主成分分析（PCA）进行降维。

from sklearn.decomposition import PCA

# 使用PCA进行降维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

# 可视化降维结果
plt.scatter(X_pca[:, 0], X_pca[:, 1])
plt.xlabel('Principal Component 1')
plt.ylabel('Principal Component 2')
plt.title('PCA of Dataset')
plt.show()

使用KMeans算法进行聚类，并将结果可视化。首先，构建KMeans模型并进行聚类，然后使用matplotlib库绘制聚类结果的散点图。

💗三、Python在深度学习中的应用💕

💖3.1 深度学习框架💞

深度学习是机器学习的一个子领域，主要通过人工神经网络来进行复杂的数据处理任务。TensorFlow和PyTorch是Python中最常用的深度学习框架。它们提供了构建和训练神经网络的丰富工具。

TensorFlow💞

TensorFlow是由谷歌开发的一个开源深度学习框架，广泛应用于各种深度学习任务中。

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# 构建神经网络模型
model = Sequential([
    Dense(128, activation='relu', input_shape=(X_train.shape[1],)),
    Dense(64, activation='relu'),
    Dense(1, activation='sigmoid')
])

# 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# 训练模型
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_split=0.2)

# 评估模型
loss, accuracy = model.evaluate(X_test, y_test)
print(f'Accuracy: {accuracy:.2f}')

PyTorch💞

PyTorch是由Facebook开发的一个开源深度学习框架，以其灵活性和易用性受到广泛欢迎。

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 构建神经网络模型
class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(X_train.shape[1], 128)
        self.fc2 = nn.Linear(128, 64)
        self.fc3 = nn.Linear(64, 1)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = torch.sigmoid(self.fc3(x))
        return x

model = SimpleNN()

# 编译模型
criterion = nn.BCELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 训练模型
train_dataset = TensorDataset(torch.tensor(X_train, dtype=torch.float32), torch.tensor(y_train, dtype=torch.float32))
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)

for epoch in range(10):
    for inputs, labels in train_loader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels.unsqueeze(1))
        loss.backward()
        optimizer.step()

# 评估模型
test_dataset = TensorDataset(torch.tensor(X_test, dtype=torch.float32), torch.tensor(y_test, dtype=torch.float32))
test_loader = DataLoader(test_dataset, batch_size=32, shuffle=False)

total = 0
correct = 0
with torch.no_grad():
    for inputs, labels in test_loader:
        outputs = model(inputs)
        predicted = outputs.round()
        total += labels.size(0)
        correct += (predicted.squeeze() == labels).sum().item()

accuracy = correct / total
print(f'Accuracy: {accuracy:.2f}')

💗四、Python在AI大模型中的应用💕

💖4.1 大模型简介💞

AI大模型如GPT-4o和BERT已经在自然语言处理、图像识别等领域取得了突破性进展。构建和训练这些大模型需要强大的计算资源和先进的算法。

💖4.2 GPT-4o实例💞

OpenAI的GPT-4o是目前最先进的自然语言处理模型之一。使用GPT-4o可以进行文本生成、翻译、摘要等任务。

import openai

# 设置API密钥
openai.api_key = 'YOUR_API_KEY'

# 使用GPT-4o生成文本
response = openai.Completion.create(
    engine="gpt-4",
    prompt="Once upon a time in a land far, far away",
    max_tokens=50
)

print(response.choices[0].text.strip())

使用OpenAI的GPT-4o模型进行文本生成。通过设置API密钥并调用GPT-4o的文本生成接口，我们可以生成连续的文本。

💗五、实例验证💕

💖5.1 数据集介绍💞

使用UCI机器学习库中的Iris数据集来进行分类任务的实例验证。

from sklearn.datasets import load_iris
import pandas as pd

# 加载Iris数据集
iris = load_iris()
X = pd.DataFrame(iris.data, columns=iris.feature_names)
y = pd.Series(iris.target, name='target')

# 显示数据集信息
print(X.head())
print(y.head())

Iris数据集是一个经典的数据集，包含三种鸢尾花的特征和类别信息。我们首先加载数据集并将其转换为pandas的DataFrame和Series格式，方便后续处理。

💖5.2 模型构建与训练💞

构建一个决策树模型来分类Iris数据集。

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建决策树模型
clf = DecisionTreeClassifier(random_state=42)
clf.fit(X_train, y_train)

# 预测
y_pred = clf.predict(X_test)

# 评估
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy:.2f}')

使用决策树分类器进行分类任务。首先，将数据集划分为训练集和测试集，然后构建决策树模型并进行训练，最后在测试集上进行预测并计算准确率。

💖5.3 模型优化💞

通过调整模型参数和使用交叉验证来优化模型性能。

from sklearn.model_selection import GridSearchCV

# 定义参数网格
param_grid = {
    'max_depth': [3, 5, 7, None],
    'min_samples_split': [2, 5, 10],
    'min_samples_leaf': [1, 2, 4]
}

# 网格搜索
grid_search = GridSearchCV(estimator=clf, param_grid=param_grid, cv=5, n_jobs=-1, verbose=2)
grid_search.fit(X_train, y_train)

# 最优参数和模型
best_params = grid_search.best_params_
best_clf = grid_search.best_estimator_

# 评估最优模型
y_pred = best_clf.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f'Optimized Accuracy: {accuracy:.2f}')
print(f'Best Parameters: {best_params}')

使用网格搜索来优化决策树模型的参数。通过定义参数网格并进行交叉验证，找出最优参数组合并训练最优模型，最终在测试集上进行评估。

💗六.深度扩展与具体实例💕

💖1.数据预处理扩展：💞

数据预处理不仅限于基本的清洗和归一化，还涉及更多高级技术，例如缺失值的填补策略、异常值检测与处理、数据增强等。

缺失值填补💞

使用插值方法填补缺失值：

# 使用插值法填补缺失值
data = data.interpolate()

或者使用KNN方法填补缺失值：

from sklearn.impute import KNNImputer

imputer = KNNImputer(n_neighbors=3)
data_imputed = imputer.fit_transform(data)

异常值检测与处理💞

使用z-score方法检测异常值：

from scipy import stats
import numpy as np

z_scores = np.abs(stats.zscore(data))
data = data[(z_scores < 3).all(axis=1)]

数据增强💞

数据增强是通过对现有数据进行随机变换（如裁剪、翻转、旋转等）来生成新的训练样本，从而提高模型的泛化能力。

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 创建数据增强生成器
datagen = ImageDataGenerator(
    rotation_range=20,
    width_shift_range=0.2,
    height_shift_range=0.2,
    horizontal_flip=True
)

# 应用数据增强
datagen.fit(X_train)

💖2.特征工程扩展：💞

特征工程不仅包括选择和提取特征，还包括特征构造。通过特征构造，可以从原始特征中生成新的、更有用的特征。创建交互特征或多项式特征：

from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2, interaction_only=True)
X_poly = poly.fit_transform(X)

💖3.模型选择与评估：💞

在选择模型时，通常会尝试多种模型并进行比较，如线性回归、决策树、支持向量机等。使用交叉验证来评估模型性能：

from sklearn.model_selection import cross_val_score

# 线性回归模型
from sklearn.linear_model import LinearRegression
model = LinearRegression()
scores = cross_val_score(model, X, y, cv=5)
print(f'Linear Regression CV Accuracy: {scores.mean():.2f}')

使用更复杂的模型，支持向量机：

from sklearn.svm import SVC

model = SVC(kernel='linear')
scores = cross_val_score(model, X, y, cv=5)
print(f'SVC CV Accuracy: {scores.mean():.2f}')

💖4.深度学习实例：💞

使用更复杂的神经网络架构，卷积神经网络（CNN）用于图像分类任务：

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense

model = Sequential([
    Conv2D(32, (3, 3), activation='relu', input_shape=(64, 64, 3)),
    MaxPooling2D((2, 2)),
    Flatten(),
    Dense(128, activation='relu'),
    Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

# 假设X_train和y_train是图像数据和标签
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_split=0.2)

或者使用循环神经网络（RNN）处理时间序列数据：

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import SimpleRNN, Dense

model = Sequential([
    SimpleRNN(50, activation='relu', input_shape=(10, 1)),
    Dense(1)
])

model.compile(optimizer='adam', loss='mean_squared_error')

# 假设X_train和y_train是时间序列数据
model.fit(X_train, y_train, epochs=10, batch_size=32, validation_split=0.2)

💖5.AI大模型应用：💞

使用BERT进行文本分类任务：

from transformers import BertTokenizer, TFBertForSequenceClassification
from tensorflow.keras.optimizers import Adam

# 加载预训练的BERT模型和分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = TFBertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 编码输入数据
inputs = tokenizer('This is a positive example', return_tensors='tf')
labels = tf.constant([1])[None, :]  # Batch size 1

# 编译和训练模型
model.compile(optimizer=Adam(learning_rate=3e-5), loss=model.compute_loss, metrics=['accuracy'])
model.fit(inputs, labels, epochs=3)

💖6.进一步实例验证与优化：💞

使用更多的数据集和更复杂的模型进行验证，并应用超参数调优技术，贝叶斯优化：

from skopt import BayesSearchCV

# 定义参数空间
param_space = {
    'max_depth': (1, 10),
    'min_samples_split': (2, 20),
    'min_samples_leaf': (1, 20)
}

# 贝叶斯搜索
opt = BayesSearchCV(estimator=DecisionTreeClassifier(), search_spaces=param_space, n_iter=32, cv=5, n_jobs=-1)
opt.fit(X_train, y_train)

best_params = opt.best_params_
print(f'Optimized Parameters: {best_params}')

💗总结💕

Python在数据科学和机器学习中的广泛应用，得益于其强大的库和工具。通过这些库和工具，数据科学家和工程师可以高效地进行数据预处理、特征工程、模型构建、模型评估和优化。无论是传统的机器学习方法还是前沿的深度学习技术，Python都提供了全面的支持。通过不断学习和实践，掌握这些技术可以为数据分析和人工智能应用提供强大的支持。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2024-06-11，如有侵权请联系 cloudcommunity@tencent.com 删除

数据挖掘

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度