【机器学习基础】多分类任务和多标签任务的区别

在机器学习中，分类任务是最常见的任务之一。根据数据和需求的不同，分类任务可以分为多分类任务和多标签任务，这两者在概念、模型设计和损失函数上有明显的区别。在本文中，我们将用简单的语言来介绍这两种任务的区别及其实现方法。

一、多分类任务（Multi-Class Classification）

多分类任务是指：每个样本只能属于一个类别，不同类别之间是互斥的。例如：

• 图片识别：一张图片只能是“猫”、“狗”或“鸟”中的一种。
• 情感分析：一段文本的情感只能是“正面”、“中性”或“负面”。

1.1 特点

1. 类别互斥：每个样本只能有一个标签。
2. 输出形式：模型的输出是一个概率分布向量，表示每个类别的概率。通过 Softmax 将概率归一化，确保所有类别的概率之和为 1。

1.2 损失函数

使用 交叉熵损失函数（Cross-Entropy Loss）：

• 假设某个样本的真实类别是 2，模型的输出概率是 [0.1, 0.3, 0.6]，交叉熵计算为：

  Loss = -log(0.6)
  

• 交叉熵损失会惩罚高概率分配给错误类别的情况，同时鼓励真实类别的概率最大化。

1.3 实现代码

import torch
import torch.nn.functional as F

# 假设模型输出 logits
logits = torch.tensor([[2.0, 1.0, 0.1]])  # 未经过 softmax 的分数
labels = torch.tensor([0])  # 真实类别的索引

# 计算交叉熵损失
loss = F.cross_entropy(logits, labels)
print(loss.item())

二、多标签任务（Multi-Label Classification）

多标签任务是指：每个样本可以同时属于多个类别，不同类别之间不是互斥的。例如：

• 多标签图片分类：一张图片可能同时包含“猫”和“狗”。
• 电影分类：一部电影可能同时是“科幻片”和“动作片”。

2.1 特点

1. 类别不互斥：每个样本可以对应多个标签。
2. 输出形式：模型的输出是每个类别的独立概率，通过 Sigmoid 将每个类别的概率映射到 [0, 1]。

2.2 损失函数

使用 二元交叉熵损失函数（Binary Cross-Entropy Loss）：

• 假设某个样本的真实标签是 [1, 0, 1]，模型的输出概率是 [0.9, 0.2, 0.8]，二元交叉熵计算为：

  Loss = - [1 * log(0.9) + (1 - 1) * log(1 - 0.9) 
            + 0 * log(0.2) + (1 - 0) * log(1 - 0.2) 
            + 1 * log(0.8) + (1 - 1) * log(1 - 0.8)]
  

• 每个类别的损失是独立计算的，最终的总损失是所有类别损失的平均或加权和。

2.3 实现代码

import torch
import torch.nn.functional as F

# 假设模型输出 logits
logits = torch.tensor([[2.0, -1.0, 1.5]])  # 未经过 sigmoid 的分数
labels = torch.tensor([[1.0, 0.0, 1.0]])  # 每个类别的真实标签

# 计算二元交叉熵损失
loss = F.binary_cross_entropy_with_logits(logits, labels)
print(loss.item())

三、两者的核心区别

四、如何判断使用哪种任务？

1. 如果每个样本只能属于一个类别（类别之间是互斥的），选择多分类任务。
2. 如果每个样本可以同时属于多个类别（类别之间不互斥），选择多标签任务。

五、总结

多分类任务和多标签任务的区别在于类别的互斥性和损失函数的设计。多分类任务更适用于样本只能属于一个类别的情况，而多标签任务适用于样本可以同时属于多个类别的场景。

希望这篇文章能帮助你快速理解两种任务的核心区别，并正确应用到实际问题中！