1. 初识机器学习数据集刚接触机器学习时最让我头疼的就是找不到合适的数据集。记得第一次尝试写分类算法时我花了整整三天在网上搜罗各种数据文件结果不是格式混乱就是字段缺失。后来才发现Python生态早就为我们准备好了开箱即用的解决方案。数据集之于机器学习就像食材之于厨师。没有好的数据再精巧的算法也难有作为。在Python中我们主要使用两类经典数据集sklearn内置数据集像随身携带的瑞士军刀随时可用UCI公共数据集如同专业食材市场选择丰富但需要简单处理初学者常犯的错误是直接扎进复杂的数据采集和清洗工作其实应该先从标准数据集入手。我建议的学习路径是先用sklearn内置数据掌握基础操作再用UCI数据练习完整流程最后再挑战自定义数据。2. sklearn内置数据集实战2.1 数据集全家福sklearn.datasets模块就像个百宝箱我最常使用的有三类数据集from sklearn import datasets # 小型数据集内存加载 iris datasets.load_iris() # 鸢尾花分类数据集 boston datasets.load_boston() # 波士顿房价回归数据集 # 大型数据集需下载 newsgroups datasets.fetch_20newsgroups() # 文本分类数据集 # 生成数据集自定义参数 X, y datasets.make_classification(n_samples1000, n_features20) # 自定义分类数据每个数据集都是Bunch对象包含以下关键属性data: 特征矩阵numpy数组target: 标签数组feature_names: 特征说明DESCR: 数据集文档2.2 鸢尾花数据集深度探索以经典的鸢尾花数据集为例我们来解剖一只完整的麻雀import matplotlib.pyplot as plt from sklearn.datasets import load_iris iris load_iris() print(f特征矩阵形状{iris.data.shape}) # (150, 4) print(f标签类别{iris.target_names}) # [setosa, versicolor, virginica] # 绘制特征分布图 plt.figure(figsize(15, 8)) for i in range(4): plt.subplot(2, 2, i1) plt.hist(iris.data[:, i], bins30) plt.title(iris.feature_names[i]) plt.tight_layout()通过这个简单的探索我们能立即发现样本量150条记录特征数4个花萼/花瓣的长宽分类数3种鸢尾花特征分布基本符合正态分布无明显异常值2.3 手写数字识别实战MNIST的简化版——load_digits()数据集包含1797个8x8像素的手写数字from sklearn.datasets import load_digits digits load_digits() print(f图像数据形状{digits.images.shape}) # (1797, 8, 8) # 可视化前64个数字 plt.figure(figsize(10, 8)) for i in range(64): plt.subplot(8, 8, i1) plt.imshow(digits.images[i], cmapbinary) plt.axis(off)处理图像数据时要注意像素值范围是0-16需要归一化images和data是相同数据的两种形式前者保持图像结构适合练习降维算法PCA/t-SNE3. UCI数据集获取与处理3.1 UCI数据宝库介绍UCI机器学习库就像数据科学的新华字典包含500个跨领域数据集。我常用的获取方式import pandas as pd from ucimlrepo import fetch_ucirepo # 获取葡萄酒数据集 wine fetch_ucirepo(id109) df pd.DataFrame(wine.data.features, columnswine.data.feature_names) df[target] wine.data.targetsUCI数据集通常需要处理以下问题缺失值标记为?或NaN非数值特征需编码不同特征的量纲差异3.2 心脏病数据集实战以UCI的Cleveland心脏病数据集为例# 原始数据预处理 url http://archive.ics.uci.edu/ml/machine-learning-databases/heart-disease/processed.cleveland.data heart pd.read_csv(url, headerNone, na_values?) # 添加列名 columns [age, sex, cp, trestbps, chol, fbs, restecg, thalach, exang, oldpeak, slope, ca, thal, target] heart.columns columns # 处理缺失值 heart heart.dropna().reset_index(dropTrue) print(f处理后数据形状{heart.shape})关键处理步骤识别特殊缺失标记如处理分类变量如thal列目标变量二值化0表示无疾病3.3 数据标准化技巧UCI数据集常需要特征缩放from sklearn.preprocessing import StandardScaler scaler StandardScaler() numeric_cols [age, trestbps, chol, thalach, oldpeak] heart[numeric_cols] scaler.fit_transform(heart[numeric_cols])4. 高级数据集操作4.1 自定义数据生成当标准数据集不能满足需求时可以生成模拟数据from sklearn.datasets import make_classification # 生成非线性可分数据 X, y make_classification(n_samples1000, n_features2, n_informative2, n_redundant0, n_clusters_per_class1, flip_y0.1, class_sep0.8, random_state42) # 生成环形数据 from sklearn.datasets import make_circles X_circle, y_circle make_circles(n_samples500, noise0.1, factor0.5)4.2 数据集划分策略正确的数据划分能避免过拟合from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( iris.data, iris.target, test_size0.2, stratifyiris.target, # 保持类别比例 random_state42 )对于时间序列数据需要使用TimeSeriesSplitfrom sklearn.model_selection import TimeSeriesSplit tscv TimeSeriesSplit(n_splits5) for train_index, test_index in tscv.split(X): print(f训练集{len(train_index)}测试集{len(test_index)})5. 数据可视化探索5.1 特征关联分析使用seaborn快速分析特征关系import seaborn as sns iris_df pd.DataFrame(iris.data, columnsiris.feature_names) iris_df[target] iris.target sns.pairplot(iris_df, huetarget, palettehusl)5.2 降维可视化高维数据可以通过PCA或t-SNE降维from sklearn.decomposition import PCA pca PCA(n_components2) X_pca pca.fit_transform(iris.data) plt.scatter(X_pca[:, 0], X_pca[:, 1], ciris.target, cmapviridis) plt.xlabel(PC1) plt.ylabel(PC2)6. 避坑指南在多年使用数据集的经历中我总结出这些常见陷阱数据泄露在划分数据前进行标准化应该只在训练集上fit类别不平衡UCI的Adult数据集收入分类中高收入样本仅占25%过时数据部分UCI数据集多年未更新如房价数据单位不一致某些数据集混合使用公制/英制单位一个实用的数据检查清单[ ] 检查缺失值比例[ ] 验证特征取值范围[ ] 分析类别分布[ ] 检查时间相关性[ ] 确认数据采集方式记得第一次用波士顿房价数据集时我没注意到B列黑人比例的取值范围是0-100还是0-1导致模型权重完全失真。现在我会先用describe()快速检查print(boston_df.describe().loc[[min, max]])
