推荐 Philip Kiely 写的电子书《Inference Engineering》推理工程。地址:learn-inference点com/
这是一本系统介绍生成式 AI 推理工程的书,重点讲模型训练完成后,如何高效、低成本、稳定地部署到生产环境,内容覆盖 GPU 与硬件瓶颈、Transformer 与 KV Cache、vLLM/SGLang/TensorRT-LLM 等推理框架,以及量化、连续批处理、推测解码、并行化和生产部署等关键技术。

推荐 Philip Kiely 写的电子书《Inference Engineering》推理工程。地址:learn-inference点com/
这是一本系统介绍生成式 AI 推理工程的书,重点讲模型训练完成后,如何高效、低成本、稳定地部署到生产环境,内容覆盖 GPU 与硬件瓶颈、Transformer 与 KV Cache、vLLM/SGLang/TensorRT-LLM 等推理框架,以及量化、连续批处理、推测解码、并行化和生产部署等关键技术。
