Mooncake on EFA：万亿参数模型背后的开源服务架构实践

Agentic AI 要求模型支撑持续高吞吐推理负载。Mooncake 通过 KVCache-centric PD 分离架构、基于 RDMA 的 Transfer Engine 与三层分布式存储实现极致性能，完整适配亚马逊云科技 EFA 实现高带宽跨节点通信，可直接在云上部署面向 Agentic 场景的生产级推理系统。

免责声明：本视频内容仅供学习与参考用途，不作任何商业使用。如有任何疑问或需要删除，请联系 AWS Summit China（aws-summit-cn@amazon.com），我们将及时处理。

**免责声明**：本摘要（.md文件）仅为便于您了解峰会内容而提供，我们不对其完整性及准确性作出任何保证，且不构成任何建议或结论。相关内容仅供参考，实际内容以峰会回放视频为准。