//owent.net/tags/%E7%BA%BF%E6%80%A7%E6%B3%A8%E6%84%8F%E5%8A%9B.htmlRecent content in 线性注意力 on I'm OWenTHugozh-cn<a rel="license" href="https://github.com/owent/blog-hugo/blob/master/LICENSE.md"><img alt="知识共享许可协议" style="border-width:0" src="https://i.creativecommons.org/l/by-nc-sa/4.0/80x15.png" /></a>Sun, 06 Sep 2026 22:47:45 +0000//owent.net/2026/2611.htmlSun, 06 Sep 2026 22:47:45 +0000//owent.net/2026/2611.html<h2 id="背景">背景</h2> <p>接上文 <a href="https://owent.net/2026/2610.html">《大语言模型的基石：Transformer 入坑笔记（三） - 注意力机制和 Transformer》</a>。</p> <p>通过之前的内容，我们大致了解了大语言模型的基石：<a href="https://github.com/huggingface/transformers">Transformer</a> 的基础原理。 但随之而来有一个问题：随着参数量和上下文长度的增长，计算量太大扛不住了。</p> <p>现在很多大语言模型，经过了多轮迭代，终于陆陆续续能在参数量持续提高的前提下同时支撑 1M 上下文。</p>