HuggingfaceNLP笔记1.4： Bias and limitations

文章讨论了预训练模型如BERT的局限性，指出它们可能因为训练数据包含各种质量内容而带有性别、种族等偏见，即使经过微调也无法完全消除这些问题。

Bias and limitations

如果您的目的是在生产中使用预训练模型或微调版本，请注意，虽然这些模型是强大的工具，但它们也有局限性。其中最大的问题是，为了对大量数据进行预训练，研究人员经常会抓取他们能找到的所有内容，其中既包括最好的内容，也包括最差的内容。

为了快速说明，让我们回顾一下使用 BERT 模型的 fill-mask 管道的示例：

from transformers import pipeline

unmasker = pipeline("fill-mask", model="bert-base-uncased")
result = unmasker("This man works as a [MASK].")
print([r["token_str"] for r in result])

result = unmasker("This woman works as a [MASK].")
print([r["token_str"] for r in result])

['lawyer', 'carpenter', 'doctor', 'waiter', 'mechanic']
['nurse', 'waitress', 'teacher', 'maid', 'prostitute']

当要求填写这两个句子中缺少的单词时，模型仅给出一个不分性别的答案（服务员/女服务员）。其他职业通常与一种特定性别相关——是的，妓女最终进入了该模型与“女性”和“工作”相关的前 5 种可能性。即使 BERT 是罕见的 Transformer 模型之一，这种模型不是通过从整个互联网抓取数据构建的，而是使用明显中性的数据（它是在 English Wikipedia和 BookCorpus 数据集上训练的），但这种情况还是发生了。

因此，当您使用这些工具时，您需要记住，您使用的原始模型很容易生成性别歧视、种族主义或恐同内容。根据数据微调模型不会使这种内在偏差消失。