NLP 基础知识

从自注意力机制到嵌入表示，全面掌握大语言模型背后的 NLP 核心技术。本章涵盖 Transformer 架构的核心组件，为理解现代大语言模型奠定坚实基础。

文章索引

文章	内容
自注意力	自注意力机制原理、多头注意力（Multi-Head Attention）、注意力分数计算
Transformer	Transformer 架构详解、Encoder-Decoder 结构、Pre-Norm 与 Post-Norm
分词器	分词算法、BPE（Byte Pair Encoding）、BBPE、SentencePiece
位置编码	正弦位置编码、RoPE（旋转位置编码）、ALiBi、相对位置编码
解码	贪心搜索、Beam Search、Top-k/Top-p 采样、Temperature 控制
归一化	Layer Normalization、Batch Normalization、RMSNorm
嵌入	词嵌入、位置嵌入、Segment 嵌入、RAG 场景下的 Embedding 模型