掘金· 用户36005557900·· 6 小时前AI 评分22
Kestrel_VLLM 第 19 篇:KV 复用迁移到 GPU,改为 per-state 镜像并修复同类静默分叉
Kestrel_VLLM - 19 · KV 复用迁移到 GPU(上):per-state 镜像与同类静默分叉
AI 导读
Kestrel_VLLM 第 19 篇把 GPU 侧 KV 缓存镜像从全后端单份改为 per-state 槽位池(VC_KV_SLOTS=8),并新增 vcuda_dev_kv_copy_prefix 在 st_qwen_copy_kv_prefix 末尾同步镜像前缀。
来源:掘金 · juejin.cn