参考答案
内容深度:适中 · 无代码示例 · 来源:外部链接 · 未复核 · 63 天前更新 · 技术内容可能随版本变化,建议结合官方文档理解
要点:
- 先算显存账:FP16 权重 ~14GB,加上 KV Cache、激活、框架开销,24G 卡余量紧张甚至会 OOM。7B 用 INT4(AWQ/GPTQ) 权重降到 ~4GB,显存立刻宽裕,这是最关键的一步。
- 框架选型:选支持连续批处理(continuous batching)和 PagedAttention 的推理框架(如 vLLM),而非朴素逐请求推理——连续批处理把多个请求拼到同一 batch 解码,GPU 利用率从「等最长请求」变成「来一个进一个」,吞吐可数倍提升;PagedAttention 把 KV Cache 像虚拟内存一样分页,消除碎片、按需分配。
- 配套调参:按剩余显存设
max_model_len(上下文上限)与 max_num_seqs(并发上限);若延迟仍高,再上 FP8 KV Cache 或开启 speculative decoding(小草稿模型猜 token)降首 token 延迟。
- 结论:「INT4 量化 + vLLM 类框架 + 合理 max_model_len」是 7B/24G 单卡高并发 API 的标配组合,实测可同时把显存压进卡内并把吞吐拉满。