IT 面试题库

场景题:要把一个 7B 模型部署到单张 24G 显卡对外提供 API,FP16 权重约 14GB 显存不够留余量,怎么做选型让它既能跑、延迟又可接受?

中级场景题算法工程师部署选型INT4vLLM连续批处理显存

题目

考察点:量化+推理框架的落地选型。要求给出「量化精度选择 → 框架选择 → 显存账」的完整决策,而不是只说「用量化」。

参考答案

内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解

要点:

练这道题

同分类 · 高频题

题目与答案就在本页;收藏、批注和错题重练在应用内

这道题看完了?连刷同类题,趁热打铁效果最好 进入刷题