跳到正文
热点事件持续更新

KV复用迁移GPU:改为per-state镜像并修复静默分叉

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Kestrel_VLLM 第 19 篇把 GPU 侧 KV 缓存镜像从全后端共用单份改为 per-state 槽位池,并新增 vcuda_dev_kv_copy_prefix,在 st_qwen_copy_kv_prefix 末尾同步镜像前缀,以堵住“多 state 共用镜像”和“内存前缀复用不写镜像”两处静默分叉。作者称该改造已落地并复验:opt-in 档不回归,=0 档与迁移前逐字节一致。 槽位容量 VC_KV_SLOTS 初值设为 4,但实测 COPYTEST 自身就要 4 个(stream state 加 istA/istT/istB),正好顶格,因此抬到 8 留余量;池满时打印一次告警并让该 state 回退 CPU,槽位记 -2,避免每层每 token 重试刷屏。 镜像单槽约 396 MiB、池上限 8 槽,均为本机 30B-A3B 口径,换模型或换卡需重算。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. 掘金
    Kestrel_VLLM 第 19 篇:KV 复用迁移到 GPU,改为 per-state 镜像并修复同类静默分叉

    Kestrel_VLLM 第 19 篇把 GPU 侧 KV 缓存镜像从全后端单份改为 per-state 槽位池(VC_KV_SLOTS=8),并新增 vcuda_dev_kv_copy_prefix 在 st_qwen_copy_kv_prefix 末尾同步镜像前缀。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。