2026-10-25 Article大语言模型的基石:Transformer 入坑笔记(五) - 线性注意力(Linear Attention) 的优化背景前文 《大语言模型的基石:Transformer 入坑笔记(四) - 线性注意力(Linear Attention) 的基础》 介绍了线性注意力的基本思路:把历史 K/V 压进固定大小的状态,避免每次读出都遍历完整历史。 但计算量降下来以后,还有两个问题:有限状态该怎样保留和更新信息,以及怎样把递推计算组织成 GPU 擅长的大块矩阵运算。
2026-09-06 Article大语言模型的基石:Transformer 入坑笔记(四) - 线性注意力(Linear Attention) 的基础背景接上文 《大语言模型的基石:Transformer 入坑笔记(三) - 注意力机制和 Transformer》。通过之前的内容,我们大致了解了大语言模型的基石:Transformer 的基础原理。 但随之而来有一个问题:随着参数量和上下文长度的增长,计算量太大扛不住了。现在很多大语言模型,经过了多轮迭代,终于陆陆续续能在参数量持续提高的前提下同时支撑 1M 上下文。