PengChao

Attention 本身只看 token 内容，不天然知道 token 的位置。 如果两个 token 的内容 … 阅读更多

Attention 是 LLM 里最核心、也最容易让初学者卡住的模块。 MiniMind 的 Attentio … 阅读更多

上一篇看了 MiniMind 的整体结构： 这篇进入每一层 MiniMindBlock。 在 Min … 阅读更多

前面已经看过 tokenizer、dataset 和训练循环。现在进入模型结构。 MiniMind 的模型代码 … 阅读更多

理解 LLM 训练，最好的入口不是一上来就看复杂的分布式训练框架，而是先看一个足够小、足够完整的训练脚本。 M … 阅读更多

上一篇从 tokenizer 讲起：文本会被切成 token，再变成一串整数 input_ids。但 … 阅读更多

学习 LLM 工程时，很多人会直接从 Transformer、Attention 或训练脚本开始。但如果从工程 … 阅读更多