月之暗面Kimi联合清华大学共创推理架构Mooncake大模型，引领AI技术新浪潮

近日消息，月之暗面Kimi与清华大学MADSys实验室强强联手，在2024年6月共同揭晓了Kimi核心架构——Mooncake推理系统的精心设计方案。

这一系统依托于以KVCache为核心的PD分离以及存算转换的前沿架构，显著增强了推理任务的吞吐能力，展现了双方在人工智能领域的深厚实力和创新精神。

为了进一步加速该技术框架的应用与推广，月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源项目 Mooncake，共建以 KVCache 为中心的大模型推理架构。

据介绍，Mooncake 开源项目从论文延伸，以超大规模 KVCache 缓存池为中心，通过以存换算的创新理念大幅度减少算力开销，提升了推理吞吐量。

本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。

Mooncake 开源项目的最终目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。

月之暗面推出Kimi k1.5多模态思考模型，达SOTA级多模态推理水准

1月21日消息，在人工智能领域持续探索的月之暗面，于今日正式官宣推出 Kimi 家族的全新 SOTA 模型 ——k1.5 多模态思考模型，这一成果无疑为多模态推理和通用推理领域注入了新的活力。

官方表示，在 short-CoT 模式下，Kimi k1.5 的数学、代码、视觉多模态和通用能力大幅超越了全球范围内短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet 的水平，领先达到 550%。

在 long-CoT 模式下，Kimi k1.5 的数学、代码、多模态推理能力，也达到长思考 SOTA 模型 OpenAI o1 正式版的水平。

据介绍，k1.5 模型设计和训练存在长上下文扩展、改进的策略优化、简洁的框架、多模态能力等关键要素。该模型擅长深度推理，可以辅助“解锁更多更难的事情”，应对难解的代码问题、数学问题、工作问题。

注：k1.5 多模态思考模型的预览版将陆续灰度上线 Kimi.com 网站和最新版本的 Kimi 智能助手 App。

月之暗面Kimi开放平台：上下文缓存Cache成本锐减50%，助力开发者高效存储

近日消息，月之暗面旗下的Kimi开放平台宣布了一项重大利好消息，其上下文缓存Cache存储服务费用迎来大幅下调，降幅达50%。

调整后，Cache存储费用从原先的10元每兆字节（tokens）每分钟，降低至5元每兆字节（tokens）每分钟。这一举措无疑将极大降低开发者在使用Kimi开放平台时的成本，促进技术创新与应用拓展，为用户带来更加高效经济的缓存解决方案。

在7月1日，Kimi 开放平台宣布，上下文缓存（Context Caching）开始公测。

上下文缓存（Context Caching）是一种高效的数据管理技术，它允许系统预先存储那些可能会被频繁请求的大量数据或信息。

这样，当您再次请求相同信息时，系统可以直接从缓存中快速提供，而无需重新计算或从原始数据源中检索，从而节省时间和资源。

上下文缓存（Context Caching）特别适合用于频繁请求，重复引用大量初始上下文的场景，可以显著降低长文本模型费用并提高效率！