什么是大模型的推理引擎

本期讲了什么

同一个模型，换一个引擎，为什么能处理更多请求？从预填充和解码讲起，用动画解释批处理、KV Cache、PagedAttention、前缀缓存、投机解码和量化，再梳理服务器和本地工具的选择。

完整文字稿还在整理。视频版信息量最大，建议先看视频。