KV复用迁移GPU:改为per-state镜像并修复静默分叉
热点事件持续更新
KV复用迁移GPU:改为per-state镜像并修复静默分叉
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Kestrel_VLLM 第 19 篇把 GPU 侧 KV 缓存镜像从全后端共用单份改为 per-state 槽位池,并新增 vcuda_dev_kv_copy_prefix,在 st_qwen_copy_kv_prefix 末尾同步镜像前缀,以堵住“多 state 共用镜像”和“内存前缀复用不写镜像”两处静默分叉。作者称该改造已落地并复验:opt-in 档不回归,=0 档与迁移前逐字节一致。 槽位容量 VC_KV_SLOTS 初值设为 4,但实测 COPYTEST 自身就要 4 个(stream state 加 istA/istT/istB),正好顶格,因此抬到 8 留余量;池满时打印一次告警并让该 state 回退 CPU,槽位记 -2,避免每层每 token 重试刷屏。 镜像单槽约 396 MiB、池上限 8 槽,均为本机 30B-A3B 口径,换模型或换卡需重算。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 09:27
Kestrel_VLLM 第 19 篇:KV 复用迁移到 GPU,改为 per-state 镜像并修复同类静默分叉报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- 掘金Kestrel_VLLM 第 19 篇:KV 复用迁移到 GPU,改为 per-state 镜像并修复同类静默分叉
Kestrel_VLLM 第 19 篇把 GPU 侧 KV 缓存镜像从全后端单份改为 per-state 槽位池(VC_KV_SLOTS=8),并新增 vcuda_dev_kv_copy_prefix 在 st_qwen_copy_kv_prefix 末尾同步镜像前缀。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。