大语言模型的训练过程
从预测下一个词，到按示范和反馈学习
此刻
怎么做
会骗你
文字版：大语言模型的训练过程在做什么
大语言模型不是一次训练出来的，而是好几个阶段接力：先用海量文本学「下一个词是什么」，再用示范数据学「该怎么回答」，再用反馈学「什么样的回答更好」，最后蒸馏、评估、上线。这一页把六个阶段做成六幕动画，其中三幕可以反复播放训练循环。
画面上正在发生什么
预训练那一幕的机制最朴素：给模型一段文字的前缀，让它预测下一个词，预测错了就按误差调整参数，如此重复亿万次。注意画面的颜色约定——蓝色表示计算，橙色表示参数更新。页面用一个只有三个参数的极简模型实算概率和梯度，所以你看到的每一次更新都是真的算出来的，只是规模小了无数倍。
强化学习那一幕最值得多看几遍。切换四种反馈来源（程序核对、代码测试、人类偏好、AI 评价），再对比两种奖励设定：按正确性奖励，模型往正确的方向走；改成「只奖励最短的回答」，模型很快学会输出又短又没用的答案。模型优化的永远是你给的那个奖励，不是你心里想要的东西。
什么时候它会骗你
- 这一页的计算是教学规模，不是真实训练。页面用三个参数的 softmax 模型实算梯度，强化学习那一幕只在三个固定候选里做选择，不模拟 PPO、GRPO 或任何真实训练流程。初值、步长和反馈结果都是明确标注过的教学设定。
- 奖励设错，模型会精准地钻空子。这是强化学习阶段最真实的风险。奖励函数是人写的，模型会找到一切能提高奖励而不真正解决问题的捷径。这一页的「只奖励最短回答」就是一个可以当场看到的例子。
- 公开资料随时会变。页面上关于 DeepSeek-V4、Qwen3 等模型训练路线的说明依据的是公开资料、核对于某个具体日期（页面上有标注）。这类信息更新很快，引用前请回到官方来源核实。
常见问题
- 预训练和微调有什么区别？
- 预训练在海量无标注文本上做自监督学习，目标只是预测下一个词，让模型获得语言和世界知识，成本极高；微调在规模小得多的、有针对性的数据上继续训练，让模型学会特定的回答格式、风格或任务，成本低得多。
- RLHF 是什么？
- 基于人类反馈的强化学习。先让人对模型的多个回答排序，用这些排序训练一个奖励模型，再用强化学习让语言模型去最大化这个奖励。它解决的是「什么样的回答算好」这种难以写成明确规则的问题。风险在于奖励模型本身有偏差，模型可能学会讨好奖励模型而非真正改善回答。
- 模型蒸馏是做什么的？
- 用一个大模型（教师）的输出来训练一个小模型（学生），让小模型以远低的成本逼近大模型的能力。蒸馏得到的模型推理更快、部署更省，代价是能力上限受教师限制，而且在教师不擅长的领域会继承同样的弱点。
本页过程图为机制示意；三幕学习循环使用三个独立参数的 softmax 模型实算概率与梯度更新，不模拟真实大模型训练；公开训练路线依据公开资料并标注了核对日期。