剛剛，Kimi開源底層推理框架，1小時GitHub攬星1.2k

什麼？Kimi底層推理架構剛剛宣佈：開！源！了！

你沒聽錯，就是那個承載了Kimi線上80%以上流量的架構。

大約幾小時前，月之暗面Kimi聯合清華大學等機構，開源了大模型推理架構Mooncake。

根據官方介紹，本次開源將採用分階段的方式：

可以看到，Mooncake一經開源，已在GitHub狂攬1.2k star。

其最終開源目標是，爲大模型時代打造一種新型高性能內存語義存儲的標準接口，並提供參考實現方案。

月之暗面Kimi工程副總裁許欣然表示：

實際上，這個項目早在今年6月就已啓動，當時已受到業內廣泛關注——

大模型推理架構Mooncake

今年6月，月之暗面和清華大學MADSys實驗室聯合發佈了Kimi底層的Mooncake推理系統設計方案。

在這篇名爲《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》的論文中，作者詳細介紹了Mooncake這種系統架構。

具體而言，Mooncake採用以KVCache爲中心的解耦架構，將預填充集羣與解碼集羣分離，並充分利用GPU集羣中未充分利用的CPU、DRAM和SSD資源，實現KVCache的解耦緩存。

其核心在於以KVCache爲中心的調度程序：

當面對流量高峰期時，Mooncake通過早期拒絕策略和預測未來負載的方法，來處理超載問題。

簡單說，其核心思想是在請求實際開始處理之前，根據當前系統的負載情況預測是否有足夠的資源來處理新的請求。

如果預測結果表明系統資源不足以保證請求的及時處理，系統就會在請求到達之前予以拒絕，從而避免了無效的資源佔用和不必要的延遲。

在Mooncake中，系統需要能夠預測在未來一段時間內的負載情況，以便做出更準確的接受或拒絕請求的決策。

如何實現呢？？

通常來說，這種預測會基於當前的請求模式、系統的資源使用情況以及歷史數據等信息。

再通過對信息的進一步分析建模，Mooncake就能夠估計接下來的請求處理需求，並據此調整其調度策略。

論文實驗結果顯示，與基線方法相比，Mooncake在某些模擬場景中可以實現高達525%的吞吐量提升，同時遵守SLO（與延遲相關的服務級別目標)。

在實際工作負載下，Mooncake使Kimi能夠處理75%以上的請求。

而且據許欣然在其他場合透露：

而現在，爲了進一步加速該技術框架的應用與推廣，Kimi聯合清華大學等機構共同發佈開源項目Mooncake。

參與開源的首批陣容包括：

可以說，雲計算、存儲、AI模型玩家等產學研力量都聚齊了。

據悉，Mooncake開源項目從論文延伸，以超大規模KVCache緩存池爲中心，通過以存換算的創新理念大幅度減少算力開銷，顯著提升了推理吞吐量。

目前Mooncake技術框架已正式開源上線，官方還表示：