从零开始：经典数据集带你掌握ML/DL全流程

机器学习常用数据集大全：从回归到文本分类的实战指南

背景知识

在机器学习实践中，数据集是算法验证和模型训练的基础。根据任务类型选择合适的数据集不仅能提高开发效率，还能确保模型评估的客观性。本文整理覆盖回归、分类、图像、文本四大领域的10多个经典数据集，并提供可直接运行的代码示例。

一、回归问题数据集

1. 加州房价数据集（California Housing Prices）

• 描述：包含加州地区房屋价格及相关特征（人口密度、收入中位数等），用于房价预测。
• 来源：scikit-learn内置数据集。
• 代码示例：

from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 数据加载
data = fetch_cifornia_housing()  # 修正拼写错误
X, y = data.data, data.target

# 数据分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

# 模型训练
model = LinearRegression()
model.fit(X_train, y_train)

# 评估
preds = model.predict(X_test)
print(f'MSE: {mean_squared_error(y_test, preds):.2f}')

2. 糖尿病数据集（Diabetes）

• 描述：包含糖尿病患者的生理指标及疾病进展数据，用于回归分析。
• 来源：scikit-learn内置数据集。
• 代码示例：

  from sklearn.datasets import load_diabetes
  data = load_diabetes()
  X, y = data.data, data.target
  

糖尿病数据集特征分布

3. 自行车共享需求数据集（Bike Sharing Demand）

• 描述：记录不同时间段和天气条件下的自行车租赁量，用于需求预测。
• 来源：UCI机器学习库。
• 代码示例：

  import pandas as pd
  url = "https://archive.ics.uci.edu/ml/machine-learning-databases/00275/Bike-Sharing-Dataset/hour.csv  "
  df = pd.read_csv(url)
  X = df.drop('cnt', axis=1)
  y = df['cnt']
  

二、分类问题数据集

1. MNIST手写数字数据集

描述：包含7万张28x28像素的手写数字图像，用于图像分类
来源：torchvision或keras内置数据集
代码示例（PyTorch）：

from torchvision import datasets, transforms
import matplotlib.pyplot as plt

transform = transforms.Compose([transforms.ToTensor()])
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)

# 显示前9个样本
fig, axes = plt.subplots(3, 3, figsize=(8,8))
for i, ax in enumerate(axes.flat):
    ax.imshow(train_dataset.data[i], cmap='gray')
    ax.set_title(f"Label: {train_dataset.targets[i]}")
plt.tight_layout()
plt.show()

from torchvision import datasets, transforms

# 定义转换管道
transform = transforms.Compose([
    transforms.RandomRotation(10),
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))
])

# 加载数据集
train_dataset = datasets.MNIST(root='./data', 
                             train=True,
                             download=True,
                             transform=transform)

预处理流程：

2. 泰坦尼克号数据集

描述：包含乘客信息及生存状态，用于二分类（生存/遇难）
来源：Kaggle或UCI机器学习库
代码示例：

import pandas as pd
from sklearn.ensemble import RandomForestClassifier

url = "https://web.stanford.edu/class/archive/cs/cs109/cs109.1166/stuff/titanic.csv"
df = pd.read_csv(url)

# 数据预处理
df['Age'] = df['Age'].fillna(df['Age'].median())
X = pd.get_dummies(df[['Pclass', 'Age', 'SibSp', 'Parch', 'Fare']])
y = df['Survived']

# 训练模型
model = RandomForestClassifier()
model.fit(X, y)

特征工程示例

import pandas as pd
from sklearn.impute import SimpleImputer

# 处理缺失值
imputer = SimpleImputer(strategy='median')
df['Age'] = imputer.fit_transform(df[['Age']])

# 创建家庭规模特征
df['FamilySize'] = df['SibSp'] + df['Parch'] + 1

  import pandas as pd
  url = "https://web.stanford.edu/class/archive/cs/cs109/cs109.1166/stuff/titanic.csv  "
  df = pd.read_csv(url)
  X = df[['Pclass', 'Age', 'SibSp', 'Parch', 'Fare']].fillna(df.mean())
  y = df['Survived']
from sklearn.ensemble import RandomForestClassifier

# 数据预处理
df['Age'] = df['Age'].fillna(df['Age'].median())
X = pd.get_dummies(df[['Pclass', 'Age', 'SibSp', 'Parch', 'Fare']])

# 训练模型
model = RandomForestClassifier()
model.fit(X, y)

# 特征重要性可视化
plt.barh(X.columns, model.feature_importances_)

3. Adult收入预测数据集

• 描述：包含人口统计信息及收入水平（>50k或≤50k），用于分类任务。
• 来源：UCI机器学习库。
• 代码示例：

  import pandas as pd
  url = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data  "
  df = pd.read_csv(url, header=None, names=['age', 'workclass', 'fnlwgt', 'education', 'education-num', 'marital-status', 'occupation', 'relationship', 'race', 'sex', 'capital-gain', 'capital-loss', 'hours-per-week', 'native-country', 'income'])
  X = df.drop('income', axis=1)
  y = (df['income'] == '>50K').astype(int)
  

类别特征处理

from sklearn.preprocessing import OneHotEncoder

# 类别特征列表
categorical_features = ['workclass', 'education', 'marital-status']

# One-Hot编码
encoder = OneHotEncoder(handle_unknown='ignore')
X_cat = encoder.fit_transform(df[categorical_features])

三、图像分类数据集

1. CIFAR-10

• 描述：包含6万张32x32像素的彩色图像，分为10个类别（如飞机、汽车、鸟类）。
• 来源：torchvision或keras内置数据集。
• 代码示例（Keras）：

  from tensorflow.keras.datasets import cifar10
  (X_train, y_train), (X_test, y_test) = cifar10.load_data()
  

CIFAR-10数据加载（PyTorch版）

from torchvision import datasets, transforms

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,0.5,0.5), (0.5,0.5,0.5))
])

train_dataset = datasets.CIFAR10(
    root='./data',
    train=True,
    download=True,
    transform=transform
)

数据增强策略

from tensorflow.keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(
    rotation_range=15,
    width_shift_range=0.1,
    height_shift_range=0.1,
    horizontal_flip=True)

2. Fashion-MNIST

• 描述：包含7万张28x28像素的时尚产品图像，分为10个类别（如T恤、鞋类）。
• 来源：torchvision或keras内置数据集。
• 代码示例（PyTorch）：

  from torchvision import datasets, transforms
  transform = transforms.Compose([transforms.ToTensor()])
  train_dataset = datasets.FashionMNIST(root='./data', train=True, download=True, transform=transform)
  test_dataset = datasets.FashionMNIST(root='./data', train=False, download=True, transform=transform)
  

Fashion-MNIST类别分布

3. Oxford-IIIT Pet

• 描述：包含37类宠物图像（猫、狗等），每类约200张，用于细粒度分类。
• 来源：torchvision内置数据集。
• 代码示例：

  from torchvision import datasets, transforms
  transform = transforms.Compose([transforms.ToTensor()])
  dataset = datasets.OxfordIIITPet(root='./data', download=True, transform=transform)
  

细粒度分类实现

import torch
from torchvision.models import resnet50

# 加载预训练模型
model = resnet50(pretrained=True)
model.fc = torch.nn.Linear(2048, 37)  # 修改输出层

四、文本分类数据集

文本分类通用流程

1. IMDb影评数据集

• 描述：包含5万条影评，分为正面和负面两类，用于情感分析。
• 来源：keras内置数据集。
• 代码示例：

from tensorflow.keras.preprocessing.sequence import pad_sequences
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, LSTM, Dense

# 数据预处理
(X_train, y_train), _ = imdb.load_data(num_words=10000)
X_train = pad_sequences(X_train, maxlen=200)

# 构建模型
model = Sequential([
    Embedding(10000, 128),
    LSTM(64),
    Dense(1, activation='sigmoid')
])

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=3, batch_size=64)

词向量处理

from tensorflow.keras.preprocessing.sequence import pad_sequences

# 限制序列长度为500
maxlen = 500
X_train = pad_sequences(X_train, maxlen=maxlen)
X_test = pad_sequences(X_test, maxlen=maxlen)

2. AG News

• 描述：包含近50万条新闻文章，分为4个类别（世界、科技、体育、商业）。
• 来源：可通过torchtext或直接下载。
• 代码示例：

  import pandas as pd
  url = "https://raw.githubusercontent.com/mhjabreel/CharCnn_Keras/master/data/ag_news_csv/train.csv  "
  df = pd.read_csv(url, header=None, names=['label', 'title', 'description'])
  X = df['description']
  y = df['label'] - 1  # 转换为0-3的索引
  

3. THUCNews（中文）

• 描述：包含74万篇中文新闻，分为14个类别（财经、科技、体育等）。
• 来源：清华大学自然语言处理实验室。
• 代码示例：

  import pandas as pd
  url = "http://thuctc.thunlp.org/source/THUCNews.zip  "
  # 下载后解压，读取csv文件
  df = pd.read_csv('THUCNews/财经/财经_0.txt', header=None, names=['text'])
  y = 0  # 手动标注类别
  

分词示例

import jieba

text = "清华大学自然语言处理实验室发布最新研究成果"
seg_list = jieba.cut(text)
print("/".join(seg_list))  # 清华大学/自然语言/处理/实验室/发布/最新/研究成果

五、其他常用数据集

1. UCI机器学习库（UCI ML Repository）

• 描述：包含数百个公开数据集，涵盖分类、回归、聚类等任务，如：
  • Wine：葡萄酒化学成分分类。
  • Breast Cancer：乳腺癌诊断（良性/恶性）。
  • Credit Card Fraud：信用卡欺诈检测。
• 来源：UCI官网
• 代码示例：

  import pandas as pd
  url = "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/wdbc.data  "
  df = pd.read_csv(url, header=None)
  X = df.drop(1, axis=1)
  y = (df[1] == 'M').astype(int)
  

特征相关性分析

import seaborn as sns
import matplotlib.pyplot as plt

corr_matrix = df.corr()
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title('Feature Correlation Matrix')

2. COCO（Common Objects in Context）

• 描述：包含33万张图像，用于目标检测、分割和图像描述。
• 来源：COCO官网
• 代码示例（使用pycocotools）：

  from pycocotools.coco import COCO
  annFile = 'instances_train2017.json'
  coco = COCO(annFile)
  imgIds = coco.getImgIds()
  

标注可视化

from pycocotools.coco import COCO
import matplotlib.pyplot as plt

# 加载标注
coco = COCO('instances_train2017.json')
img = coco.loadImgs(imgIds[0])[0]
annIds = coco.getAnnIds(imgIds=img['id'])
anns = coco.loadAnns(annIds)

# 显示标注
plt.imshow(image)
coco.showAnns(anns)

3. SQuAD（Stanford Question Answering Dataset）

• 描述：包含10万多个问题-答案对，用于机器阅读理解。
• 来源：SQuAD官网
• 代码示例：

  import json
  with open('train-v2.0.json', 'r') as f:
      squad_data = json.load(f)
  contexts = [data['context'] for data in squad_data['data'][0]['paragraphs']]
  questions = [qas['question'] for qas in squad_data['data'][0]['paragraphs'][0]['qas']]
  

六、数据集对比与选择指南

数据集分类表格

数据集入门选择指南

数据集对比总表

总结

以上数据集覆盖了回归、分类、图像、文本等多个领域，且大部分可通过scikit-learn、torchvision、keras等库直接加载或从公开渠道获取。实际应用中，可根据任务类型（如房价预测、情感分析）和数据特点（如结构化数据、图像、文本）选择合适的数据集，并结合数据预处理（如归一化、分词）和模型调优（如超参数调整）进行实验。

完整实现示例（泰坦尼克号生存预测）

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

# 数据加载与预处理
url = "https://web.stanford.edu/class/archive/cs/cs109/cs109.1166/stuff/titanic.csv"
df = pd.read_csv(url)
df['Age'] = df['Age'].fillna(df['Age'].median())

# 特征工程
X = pd.get_dummies(df[['Pclass', 'Age', 'SibSp', 'Parch', 'Fare']])
y = df['Survived']

# 模型训练
model = RandomForestClassifier(n_estimators=100)
model.fit(X, y)

# 评估
preds = model.predict(X)
print(f"Training Accuracy: {accuracy_score(y, preds):.2f}")