昨天介绍的huggingface的交互式电子书《终极调参指南：在大规模GPU集群上训练大语言模型》已经出了官方中文版了！
huggingface.co/spaces/Ki-Seki/ultrascale-playbook-zh-cn
（出这么快是因为huggingface官方也是用ai翻译的[二哈]，由 GPT-o1 翻译）。中文版目录如图。
“本书中所涉及到的所有技术都是为了应对如下三个关键挑战，而这三个挑战会在全书中反复出现：
1. 显存使用：这是训练的硬性限制——如果某个训练步骤超过了显存容量，训练便无法进行。
2. 计算效率：我们希望硬件大部分时间都在计算，而不是花在数据传输或等待其他 GPU 的工作上。
3. 通信开销：我们希望最小化通信开销，因为通信会让 GPU 处于空闲。为此，需要尽量利用节点内（更快）和节点间（更慢）的带宽，并将通信尽量与计算重叠。
在很多地方，我们会看到可以在（计算、通信、显存）三者之间做权衡（例如重计算或者 Tensor 并行）。找到合适的平衡是成功扩展训练的关键。”
