Tag: 系统

All the articles with the tag "系统".

• 【转载】用 vLLM × Mooncake 规模化服务 Agentic 工作负载

  20 May, 2026

  vLLM 团队与 Mooncake 合作，通过分布式 KV cache 池将 Agentic 推理吞吐提升 3.8 倍、TTFT 降低 46 倍，在 60 块 GB200 GPU 上近线性扩展。