提示缓存

提示缓存适用于高重复前缀输入场景，可降低延迟和成本。

适用场景

• 长系统提示词
• 固定模板工作流
• 重复上下文检索场景

使用建议

1. 保持前缀稳定，避免频繁变动导致命中率下降。
2. 监控缓存命中率与节省 token。
3. 对隐私数据启用最小化缓存策略。