FastText是一种由Facebook在2016年提出的文本分类算法，以其速度和效率受到广泛应用。该模型结合了Hierarchical Softmax和N-gram优化，通过词向量表示捕获局部信息。在实战部分，展示了如何使用Python的FastText库进行文本分类，并解释了如何利用FastText学习词向量。
FastText
fastText是facebook在2016年提出的一个文本分类算法，是一个有监督模型，其简单高效，速度快，在工业界被广泛的使用。在学术界，可以作为baseline的一个文本分类模型。
原理
FastText结构同CBOW的结构很像，但是FastText的输出是对一个文本或句子的分类，而不再是中间词根。FastText对于输入的每个x，经过一个转换矩阵A(本质是一个lookup表，关于这一点可以看我关于skip-gram和cbow的blog)，得到对应的词向量v，所有N个向量求和取平均，平均值经过矩阵B映射到预先设定好的n个类别，经过softmax就得到了概率，公式表示和示意图如下：
s o f t m a x ( B N ∑ n = 1 N ( A x n ) ) softmax\Big(\frac{B}{N}\sum_{n=1}^{N} (Ax_n)\Big) softmax(NBn=1∑N(Axn
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
