【Ultra-Scale Playbook：超大规模模型训练实战指南】
一个耗时6个月，烧掉超过一年GPU算力才完成的来自实战经验的开源指南，干货满满。
这不是一本枯燥的技术文档，而是用互动性极强的方式展现：
- 4000多组扩展性实验的可视化图表
- NotebookLM播客式的学习体验
- 通过真实案例解读（比如DeepSeek如何用500万美元完成训练）
内容上覚盖了现代LLM训练的各个关键环节：
- 5D并行化技术全解析
- ZeRO优化策略深度剖析
- CUDA内核优化实战
- 计算与通信重叠的原理与实践
作者相信AI大众化的关键在于让每个人都能掌握这些技术。这本原本计划作为博客的内容，最终发展成了一个包含3万多字的互动项目，甚至还推出了100页的实体书版本。
对于想深入理解大模型训练技术的开发者来说，这绝对是一份不可多得的学习资源。它不仅回答了“如何做”，更重要的是解释了“为什么这样做”：
- 为什么Mistral选择了MoE架构？
- 为什么PyTorch的数据并行实现如此复杂？
- Meta在Llama 3中使用的上下文并行到底是什么？
'The Ultra-Scale Playbook - a Hugging Face Space by nanotron'
