从零开始编写并训练大语言模型的教程：ScratchLLMStepByStep
github.com/golfxiao/ScratchLLMStepByStep
目录如图。本项目旨在为对语言模型和深度学习感兴趣的开发者提供一套系统的、易于理解的学习资源。通过本系列教程，您将逐步了解并掌握大语言模型的基本概念、核心算法及其实现细节。
本教程将会带你从分词器训练开始，一步一步编写和实现自己的attention、transformer以及gptmodel，并对这个模型进行预训练、监督微调(SFT)，最终训练出一个可以进行对话聊天的大语言模型。
本教程适合具有以下背景的读者：
1.具备基本的编程知识，尤其是Python
2.对机器学习和深度学习有一定的了解
3.希望深入理解语言模型的工作原理和实现方法
