跳到正文
掘金· 用户36005557900·· 6 小时前AI 评分22

Kestrel_VLLM 第 19 篇:KV 复用迁移到 GPU,改为 per-state 镜像并修复同类静默分叉

Kestrel_VLLM - 19 · KV 复用迁移到 GPU(上):per-state 镜像与同类静默分叉

AI 导读

Kestrel_VLLM 第 19 篇把 GPU 侧 KV 缓存镜像从全后端单份改为 per-state 槽位池(VC_KV_SLOTS=8),并新增 vcuda_dev_kv_copy_prefix 在 st_qwen_copy_kv_prefix 末尾同步镜像前缀。

来源:掘金 · juejin.cn