54、语言模型与无监督表征学习

语言模型与无监督表征学习

1. 注意力矩阵计算优化

通过利用注意力矩阵 $A$ 的分解和矩阵结合律，可以改进注意力计算。为计算 $AV$，可先计算 $G = (k’)^TV$，再计算 $q’G$，这样能使空间和时间复杂度呈 $N$ 的线性关系。

可以使用随机特征 $\varphi(q_i)$ 和 $\varphi(k_j)$ 的单个样本，并采用较小的 $M$ 值（如 $M = O(D \log(D))$）来创建 $A$ 的近似值。然后可以在 $O(N)$ 时间内使用以下公式近似整个注意力算子：
[
attention(Q, K, V) = diag^{-1}(Q’((K’)^T1_N))(Q’((K’)^TV))
]
这被证明是对精确 softmax 注意力算子的无偏近似。

2. 语言模型与无监督表征学习概述

循环神经网络（RNNs）和自回归（仅解码器）变压器可作为语言模型，它们是形式为 $p(x_1, \ldots, x_T) = \prod_{t=1}^{T} p(x_t|x_{1:t - 1})$ 的生成序列模型，其中每个 $x_t$ 是离散标记，如单词或词块。这些模型的潜在状态可作为文本的连续向量表示，即使用依赖于句子中所有先前单词的隐藏状态 $h_t$，而非单热向量 $x_t$ 或其学习嵌入。这些向量可用作文本分类或序列到序列任务的上下文词嵌入。

这种方法的优势在于可以在大型文本语料库上以无监督方式预训练语言模型，然后在特定任务的小标记数据集上以有监督方式微调模型，这就是迁移学习。

如果主要目标是为迁移学习计算有用的表示，而非生成文本，可以用非因果模型替代生成序列模型