-
vLLM KV Cache 实现要点 
Liao Jiayi #vLLM#KVCache#LLM vLLM 的 KVCache 机制是推理过程中必不可少的，但是随着序列建模的 context 不断增长，带来的 KV Cache 相关的架构迭代也非常频繁，比如 PD 分离、多种 Cache 存储选型等。
vLLM 的 KVCache 机制是推理过程中必不可少的，但是随着序列建模的 context 不断增长，带来的 KV Cache 相关的架构迭代也非常频繁，比如 PD 分离、多种 Cache 存储选型等。