Python机器学习与深度学习代码速查宝典：从基础到进阶

作者：沙与沫2025.10.15 19:27浏览量：2

简介：本文提供Python机器学习与深度学习核心代码速查指南，涵盖Scikit-learn、TensorFlow/PyTorch关键操作，包含数据预处理、模型构建、训练评估全流程代码示例，助力开发者快速实现AI项目落地。

Python机器学习与深度学习代码速查宝典：从基础到进阶

一、机器学习基础代码速查

1. 数据预处理核心操作

数据清洗是机器学习的第一步，Pandas库提供了高效的数据处理工具：

  1. import pandas as pd
  2. import numpy as np
  4. # 缺失值处理
  5. df = pd.DataFrame({'A': [1,2,np.nan], 'B': [5,np.nan,np.nan]})
  6. df_filled = df.fillna(method='ffill')  # 前向填充
  7. df_dropped = df.dropna(thresh=2)      # 保留非空值≥2的行
  9. # 特征缩放
  10. from sklearn.preprocessing import StandardScaler, MinMaxScaler
  11. scaler = StandardScaler()
  12. X_scaled = scaler.fit_transform([[1,2], [3,4], [5,6]])  # 标准化
  14. mm_scaler = MinMaxScaler(feature_range=(0,1))
  15. X_mm = mm_scaler.fit_transform([[10,20], [30,40]])     # 归一化

2. 特征工程关键方法

特征转换直接影响模型性能：

  1. from sklearn.preprocessing import OneHotEncoder, LabelEncoder
  2. from sklearn.feature_extraction.text import TfidfVectorizer
  4. # 类别编码
  5. le = LabelEncoder()
  6. y_encoded = le.fit_transform(['cat','dog','cat'])
  8. # 独热编码
  9. ohe = OneHotEncoder(sparse=False)
  10. X_ohe = ohe.fit_transform([[0], [1], [2]])  # 需先数值编码
  12. # 文本特征提取
  13. corpus = ['This is good', 'That is bad']
  14. tfidf = TfidfVectorizer()
  15. X_tfidf = tfidf.fit_transform(corpus).toarray()

3. 经典模型实现

Scikit-learn提供了标准化建模接口：

  1. from sklearn.linear_model import LogisticRegression
  2. from sklearn.ensemble import RandomForestClassifier
  3. from sklearn.model_selection import train_test_split
  5. # 数据划分
  6. X_train, X_test, y_train, y_test = train_test_split(
  7.     X, y, test_size=0.3, random_state=42)
  9. # 逻辑回归
  10. lr = LogisticRegression(penalty='l2', C=1.0)
  11. lr.fit(X_train, y_train)
  12. y_pred = lr.predict(X_test)
  14. # 随机森林
  15. rf = RandomForestClassifier(n_estimators=100, max_depth=5)
  16. rf.fit(X_train, y_train)
  17. print(rf.feature_importances_)  # 特征重要性

二、深度学习框架核心代码

1. TensorFlow基础操作

TensorFlow 2.x的即时执行模式简化了开发流程：

  1. import tensorflow as tf
  2. from tensorflow.keras import layers, models
  4. # 张量操作
  5. a = tf.constant([[1,2], [3,4]])
  6. b = tf.constant([[5,6], [7,8]])
  7. c = tf.matmul(a, b)  # 矩阵乘法
  9. # 模型构建
  10. model = models.Sequential([
  11.     layers.Dense(64, activation='relu', input_shape=(784,)),
  12.     layers.Dropout(0.2),
  13.     layers.Dense(10, activation='softmax')
  14. ])
  16. model.compile(optimizer='adam',
  17.               loss='sparse_categorical_crossentropy',
  18.               metrics=['accuracy'])
  20. # 自定义训练循环
  21. @tf.function
  22. def train_step(x, y):
  23.     with tf.GradientTape() as tape:
  24.         predictions = model(x)
  25.         loss = loss_fn(y, predictions)
  26.     gradients = tape.gradient(loss, model.trainable_variables)
  27.     optimizer.apply_gradients(zip(gradients, model.trainable_variables))

2. PyTorch实现要点

PyTorch的动态计算图提供了更大灵活性：

  1. import torch
  2. import torch.nn as nn
  3. import torch.optim as optim
  5. # 神经网络定义
  6. class Net(nn.Module):
  7.     def __init__(self):
  8.         super(Net, self).__init__()
  9.         self.fc1 = nn.Linear(784, 128)
  10.         self.fc2 = nn.Linear(128, 10)
  12.     def forward(self, x):
  13.         x = torch.relu(self.fc1(x))
  14.         x = self.fc2(x)
  15.         return x
  17. # 数据加载
  18. from torch.utils.data import DataLoader, TensorDataset
  19. dataset = TensorDataset(torch.randn(100,784), torch.randint(0,10,(100,)))
  20. loader = DataLoader(dataset, batch_size=32, shuffle=True)
  22. # 训练过程
  23. model = Net()
  24. criterion = nn.CrossEntropyLoss()
  25. optimizer = optim.Adam(model.parameters(), lr=0.001)
  27. for epoch in range(10):
  28.     for inputs, labels in loader:
  29.         optimizer.zero_grad()
  30.         outputs = model(inputs)
  31.         loss = criterion(outputs, labels)
  32.         loss.backward()
  33.         optimizer.step()

三、进阶技巧与优化

1. 模型调优方法

  1. from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
  3. # 网格搜索
  4. param_grid = {
  5.     'C': [0.1, 1, 10],
  6.     'penalty': ['l1', 'l2']
  7. }
  8. grid_search = GridSearchCV(LogisticRegression(), param_grid, cv=5)
  9. grid_search.fit(X_train, y_train)
  11. # 随机搜索
  12. from scipy.stats import uniform
  13. param_dist = {
  14.     'n_estimators': range(50,200),
  15.     'max_depth': [3,5,7,None],
  16.     'learning_rate': uniform(0.01, 0.2)
  17. }
  18. random_search = RandomizedSearchCV(
  19.     RandomForestClassifier(), param_distributions=param_dist, n_iter=20)

2. 模型部署关键代码

  1. # TensorFlow模型保存
  2. model.save('my_model.h5')  # 完整模型保存
  3. converter = tf.lite.TFLiteConverter.from_keras_model(model)
  4. tflite_model = converter.convert()  # 转换为TFLite格式
  6. # PyTorch模型保存
  7. torch.save(model.state_dict(), 'model_weights.pth')  # 仅保存参数
  8. loaded_model = Net()
  9. loaded_model.load_state_dict(torch.load('model_weights.pth'))
  11. # ONNX格式转换
  12. dummy_input = torch.randn(1, 784)
  13. torch.onnx.export(model, dummy_input, "model.onnx")

四、实用工具推荐

  1. 数据可视化：Matplotlib/Seaborn进行特征分布分析

    1. import seaborn as sns
    2. sns.pairplot(df[['feature1','feature2','target']], hue='target')

  2. 模型解释：SHAP值解释预测结果

    1. import shap
    2. explainer = shap.TreeExplainer(rf)
    3. shap_values = explainer.shap_values(X_test)
    4. shap.summary_plot(shap_values, X_test)

  3. 自动化机器学习：PyCaret快速原型开发

    1. from pycaret.classification import *
    2. clf = setup(data=df, target='target')
    3. best_model = compare_models()

五、最佳实践建议

  1. 代码组织：采用模块化设计，将数据预处理、模型训练、评估分离为不同模块

  2. 版本控制：使用MLflow跟踪实验参数和结果

    1. import mlflow
    2. mlflow.start_run()
    3. mlflow.log_param("learning_rate", 0.01)
    4. mlflow.log_metric("accuracy", 0.95)

  3. 性能优化：

    • 使用Numba加速数值计算
    • 采用Dask处理大规模数据集
    • 利用CUDA加速GPU计算

  4. 调试技巧：

    • 使用TensorBoard可视化训练过程
    • 通过PyTorch的torch.autograd.set_detect_anomaly(True)捕获梯度异常
    • 使用Scikit-learn的check_estimator验证自定义模型

本速查表覆盖了从数据预处理到模型部署的全流程核心代码，建议开发者：

  1. 建立个人代码库，分类整理常用代码片段
  2. 结合Jupyter Notebook创建可交互的代码模板
  3. 定期更新知识库以适配框架新版本特性
  4. 在实际项目中验证代码片段的适用性

通过系统化整理和实战演练，这些代码模式将显著提升AI开发效率，帮助开发者更专注于业务逻辑的实现而非底层技术细节。

最热文章