BERT与Sentence-BERT模型详解
BERT和Sentence-BERT是自然语言处理(NLP)领域的里程碑式模型,彻底改变了文本表示和学习的方式。下面从模型架构、训练方法到应用场景进行全面解析。
一、BERT模型详解
1. 基本介绍
BERT (Bidirectional Encoder Representations from Transformers) 是Google于2018年提出的预训练语言模型,其核心创新在于:
- 双向上下文编码:同时考虑单词左右两侧的上下文
- Transformer架构:基于自注意力机制
- 预训练+微调范式:先大规模无监督预训练,再针对下游任务微调


609

被折叠的 条评论
为什么被折叠?



