IT 面试题库

如何设计一个支撑高并发的大模型推理服务?请说明 KV Cache、连续批处理(continuous batching)、量化与显存管理的取舍。

高级系统设计题算法工程师LLM应用开发工程师后端开发工程师云架构师推理服务KV Cache批处理量化显存LLM Serving

题目

考察点:LLM 推理服务的系统工程能力——吞吐、延迟、显存三者之间的权衡。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 45 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题