vLLM 解析 Kimi K3 在 MI355X 上的推理优化

vLLM 官方博客发布技术解析文章，剖析 Kimi K3 在 AMD Instinct MI355X 上的推理优化实现，并给出与 NVIDIA HGX B300 的对比数据。 据该文章，在 AgentX 上，一套八 GPU 的 AMD Instinct MI355X 系统使用 vLLM 服务 Kimi K3，在 50 tokens/s/用户 P90 交互性下，每 GPU 每秒总 token 数比 NVIDIA HGX B300 高出 24.4%；在该基准的拥有成本模型下，每美元 token 数高出 87.4%。数据来源为 SemiAnalysis InferenceX 2026 年 10 月 9 日快照，两个系统均使用八块 GPU、TP8、FP4 权重和 FP8 KV。 文章称将把 vLLM 的服务决策与 GPU 内核及其底层硬件联系起来，解释上述性能表现背后的工程实现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。