月之暗面旗下Kimi开放平台宣布，其上下文缓存（Context Caching）技术正式开启公测。这项技术无需增加API价格，就能为开发者降低最高90%的长文本旗舰大模型使用成本，并显着提升模型响应速度。通过预先存储频繁请求的数据，上下文缓存能够有效减少重复计算和数据检索，从而节省时间和资源，尤其适用于频繁请求大量初始上下文的场景，例如需要对固定文档进行大量提问的场景。
昨日，月之暗面旗下Kimi 开放平台宣布，上下文缓存（Context Caching）开始公测，该技术在API 价格不变的前提下，可为开发者降低最高90% 的长文本旗舰大模型使用成本，并且显着提升模型的响应速度。
上下文缓存（Context Caching）是一种高效的数据管理技术，它允许系统预先存储那些可能会被频繁请求的大量数据或信息。这样，当您再次请求相同信息时，系统可以直接从缓存中快速提供，而无需重新计算或从原始数据源中检索，从而节省时间和资源。上下文缓存（Context Caching）特别适合用于频繁请求，重复引用大量初始上下文的场景，可以显着降低长文本模型费用并提高效率!
具体来说，「上下文缓存」可以应用于频繁请求、重复引用大量初始上下文的场景，带来以下两方面效果:
费用最高降低90%:举例来说，对于需要对固定文档进行大量提问的场景，通过上下文缓存可以节省大量费用。例如，针对一个硬件产品说明书约9万字的文档，售前支持人员需要在短时间内密集进行多次问答，接入上下文缓存后，可以将费用降低至原本的10% 左右。
首Token 延迟降低83%:对于一个128k 模型的一次请求，通常要花费30秒返回首Token。通过上下文缓存，可以将首Token 延迟平均降至5秒内，降低约83% 的延迟时间。
上下文缓存（Context Caching）的收费模式主要分为以下三个部分:
Cache 创建费用:
调用Cache 创建接口，成功创建Cache 后，按照Cache 中Tokens 按实际量计费。 24元/M token
Cache 存储费用:
Cache 存活时间内，按分钟收取Cache 存储费用。 10元/M token/分钟
Cache 调用费用:
Cache 调用增量token 的收费:按模型原价收费
Cache 调用次数收费:
Cache 存活时间内，用户通过chat 接口请求已创建成功的Cache，若chat message 内容与存活中的Cache 匹配成功，将按调用次数收取Cache 调用费用。 0.02元/次
总而言之，Kimi开放平台的上下文缓存技术为开发者提供了更经济高效的解决方案，显着降低了长文本大模型的使用成本和响应延迟，提升了开发效率。这对于需要处理大量文本数据的应用场景具有重要的意义。