model serving

🧠 model serving 是什么

模型推理服务(model serving)指将训练好的模型部署上线、管理 GPU 资源并以 API 形式对外提供推理能力的过程,核心指标是吞吐量、首 token 延迟与时延。

大模型推理受显存与带宽瓶颈约束,催生了专用推理框架:2023 年 UC Berkeley 团队的 vLLM 提出 PagedAttention,把 KV 缓存像操作系统分页一样管理,吞吐量提升数倍并成为开源部署的事实标准;SGLang、TGI、TensorRT-LLM 等框架并存竞争。

服务化工程还包括量化、连续批处理、前缀缓存、扩缩容与安全网关,推理成本是大模型应用最大的开销项,serving 因此成为降本增效的主战场。

🔥 为什么现在火

"推理成本决定商业模型"成为行业共识,serving 基础设施成为创业与开源热点;开源框架让企业可用消费级 GPU 自建推理服务,推动私有化部署普及。

📄 证据链(交叉验证)

• ▸arXiv 论文《Efficient Memory Management for Large Language Model Serving with PagedAttention》(vLLM)
• ▸vLLM 官方文档

🔍 搜索形态

what is model serving model serving vs inference