IT之家 11 月 28 日音信，月之暗面 Kimi 和清华大学 MADSys 实验室 2024 年 6 月连合髻布了 Kimi 底层的 Mooncake 推理系统联想决策。该系统基于以 KVCache 为中心的 PD 永别和以存换算架构，提高了推理朦拢量。

　　近日，为了进一步加快该时刻框架的期骗与现实，月之暗面 Kimi 和清华大学 MADSys 实验室连系 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源面貌 Mooncake，共建以 KVCache 为中心的大模子推理架构。

　　11 月 28 日，Mooncake 时刻框架已开源上线，IT之家附地址如下：

　　https://github.com/kvcache-ai/Mooncake

　　据先容，Mooncake 开源面貌从论文蔓延，以超大鸿沟 KVCache 缓存池为中心，通过以存换算的改进理念大幅度减少算力支出，提高了推理朦拢量。

　　本次开源将遴荐分阶段的式样，渐渐开源高性能 KVCache 多级缓存 Mooncake Store 的终了，同期针对各样推理引擎和底层存储 / 传输资源进行兼容。其中传输引擎 Transfer Engine 部分当今依然在 GitHub 群众开源。

　　Mooncake 开源面貌的最终联想是，为大模子期间打造一种新式高性能内存语义存储的范例接口，并提供参考终了决策。

　　Mooncake 推理系统架构图赌钱赚钱app