IBM 解析 llm-d 支撑大模型分布式推理的六项关键技术

IBM Research 解析了开源 Kubernetes 原生框架 llm-d 如何为大规模 LLM 服务调度流量，涵盖前缀缓存感知路由、KV-cache 卸载、流控、批推理优化、prefill/decode 分离与宽专家并行六项技术。