
背景
前段时间通过 《大预言模型的基石:Transformer 入坑笔记(一) - 大模型训练链路》, 《大预言模型的基石:Transformer 入坑笔记(二) - 基本原理和 Word Embeddings》, 《大语言模型的基石:Transformer 入坑笔记(三) - 注意力机制和 Transformer》, 《大语言模型的基石:Transformer 入坑笔记(四) - 线性注意力(Linear Attention) 的基础》, 《大语言模型的基石:Transformer 入坑笔记(五) - 线性注意力(Linear Attention) 的优化》 梳理了大语言模型训练、词嵌入和注意力机制的基础。