I'm OWenT

Challenge Everything

#
  • Home
  • Archives
  • About
  • RSS订阅
2026-11-21 Article

一文从零手搓大预言模型训练和推理

背景

前段时间通过 《大预言模型的基石:Transformer 入坑笔记(一) - 大模型训练链路》, 《大预言模型的基石:Transformer 入坑笔记(二) - 基本原理和 Word Embeddings》, 《大语言模型的基石:Transformer 入坑笔记(三) - 注意力机制和 Transformer》, 《大语言模型的基石:Transformer 入坑笔记(四) - 线性注意力(Linear Attention) 的基础》, 《大语言模型的基石:Transformer 入坑笔记(五) - 线性注意力(Linear Attention) 的优化》 梳理了大语言模型训练、词嵌入和注意力机制的基础。

LLM GPT Claude
更多
知识共享许可协议 2026 OWenT
沪ICP备2022003252号 本站源码 发布者 Hugo 主题 distinctionpp