在线阅读 · 下载 Word · 完整目录 · 运行代码 · 参考资料
大模型知识很多，真正困难的不是“看过多少名词”，而是能否把一个概念讲清楚、把关键过程写出来，并用实验判断自己的理解是否正确。
这是一部为零基础读者重新组织的中文大模型工程教材。它从 Python、张量和神经网络出发，逐步进入 Transformer、Llama/DeepSeek、模型服务、RAG、Agent、预训练、微调、偏好对齐、多模态、分布式训练和推理优化，最后落到项目表达与面试准备。
全书采用同一条学习主线：先建立直觉 → 写清张量形状 → 阅读公式 → 手写最小实现 → 设计验证实验 → 讨论工程边界。读完的目标不是背下一套答案，而是形成能够继续学习和解决问题的方法。
| 系统正文 | 图解 | Python 示例 | 实验闭环 |
|---|---|---|---|
| 14 章 + 4 份附录 | 29 幅自绘结构图 | 19 份可独立阅读代码 | 每章实验、验收标准与自测 |
- 对初学者友好：重要概念先用直观语言解释，再进入符号、张量和代码。
- 不止讲调用接口：注意力、RoPE、GQA、LoRA、DPO、量化等内容都安排了手写或最小实现。
- 强调可验证性：每章都要求保存输入、输出、指标、失败记录和复现条件。
- 连接真实工程：不仅讨论“能运行”，还讨论延迟、成本、权限、安全、评估与故障恢复。
- 公开资料可追溯：论文优先链接原文，框架行为优先引用官方文档，视频只收录公开入口。
| 你的情况 | 建议路线 |
|---|---|
| 完全零基础 | 前言 → 第 1 章 → 第 2 章 → 第 3 章，再按目录顺序阅读 |
| 想做 RAG / Agent 应用 | 先读第 1、2 章的必要基础，再读第 4～7 章，随后补第 13 章 |
| 想学习训练与对齐 | 第 1～3 章 → 第 8～10 章 → 第 12、13 章 |
| 已有经验、准备面试 | 先读第 14 章建立证据清单，再回到薄弱章节完成实验 |
公式不熟时可以随时查阅数学速查，环境安装遇到问题时查看实验环境附录。
- Python、数学与神经网络：建立可计算的直觉 — 张量、梯度、训练闭环、PyTorch 与复现
- Transformer 与 MoE：从矩阵计算到稀疏专家 — Token、Self-Attention、FFN、残差、MoE
- Llama 与 DeepSeek：现代解码器的关键改造 — RMSNorm、RoPE、GQA、SwiGLU、MLA 与推理模型
- 部署、压测与应用开发：把模型变成可靠服务 — FastAPI、流式输出、结构化输出、工具调用与服务指标
- RAG 基础：让生成建立在可追溯证据上 — 文档解析、切块、Embedding、检索、引用与评估
- 工业级 RAG：优化、评估与可运营系统 — 混合检索、重排、上下文压缩、多模态 RAG 与反馈闭环
- Agent：让模型在受控边界内观察、决策与行动 — 工具契约、规划、记忆、MCP、Deep Research 与安全边界
- 预训练：数据、目标、规模与训练稳定性 — 数据治理、Tokenizer、Scaling Law、监控和 Nano 训练实验
- 微调：从数据设计到 LoRA/QLoRA 工程 — SFT 标签、LoRA、QLoRA、PEFT/TRL 与微调评估
- 偏好对齐：Reward Model、PPO、DPO 与 GRPO — 偏好数据、奖励设计、在线/离线优化与安全评估
- 多模态大模型：视觉编码、跨模态对齐与训练 — ViT、CLIP、BLIP、LLaVA、数据构建与评估
- 分布式训练：并行策略、通信与故障恢复 — DDP、ZeRO/FSDP、TP/PP/EP、混合精度与断点续训
- 推理优化：量化、蒸馏、KV Cache 与高效服务 — Prefill/Decode、量化、FlashAttention、连续批处理与压测
- 面试专项：从简历证据到项目深挖 — 简历、项目表达、手写代码、系统设计、Bad Case 与模拟面试
git clone https://github.com/wei1305/llm-engineer-from-zero.git
cd llm-engineer-from-zero
python examples/01_gradient_check.py
python examples/05_rag_minimal.py建议不要只看最终输出。运行示例前先写下预期张量形状或排序结果，再打印中间量；修改一个变量后重新运行，并把错误样例保留为测试。完整代码导航见 examples/README.md。
- Markdown 公式使用 GitHub 官方支持的数学代码块语法，并避免受限宏。
- Word 版已更新目录并完成 174 页逐页排版检查。
- 19 份 Python 示例全部通过语法检查，其中无 GPU 示例已执行验证。
- 教学代码用于解释原理，不应未经鉴权、限流、审计和安全测试直接部署到生产环境。
- 外部链接会随时间变化；如发现失效链接、公式渲染问题或知识错误，欢迎提交 Issue 并附上所在章节和复现截图。
book/
├─ 大模型工程师从零到实践.md # GitHub 在线合并版
├─ 大模型工程师从零到实践.docx # Word 排版版
├─ chapters/ # 前言与十四章
├─ appendices/ # 环境、数学、术语和项目验收
└─ assets/ # 自绘结构图与首页视觉
examples/ # Python 手写与工程示例
references/ # 论文、官方文档、公开视频与面试资料
从一个可手算的小例子开始，把每个结论变成可以复现的证据。