背景大模型每生成一个新token都需要引用前文所有token的注意力中间结果。如果没有缓存优化计算开销会随着上下文长度急剧上升。KV Cache的核心思路缓存已经计算完毕token对应的Key、Value向量。在单次推理内部只计算新增token不用反复重算全部前文。硬性约束输入前缀token序列必须完全一致。只要前缀任意一处发生改动哪怕一个空格整套缓存全部失效模型需要从头重新计算直接引发首token延迟飙升、推理成本大幅上涨。三条核心落地准则优先记忆系统提示词、工具定义定稿后尽量固定任何改动都会破坏缓存实时时间、用户状态这类动态可变信息追加到对话消息末尾禁止嵌入前置系统提示词优先使用标准API结构化消息格式不要手动拼接USER: / ASSISTANT:这类纯文本prompt。Chat Template 基础认知API传入的system/user/assistant结构化消息会通过Chat Template转换成模型能识别的连续token流依靠特殊标记区分角色与消息边界。不同模型拥有专属聊天模板由服务端自动处理。一方面手动拼接文本会偏离模型训练时的标准格式破坏工具调用、思维链延续能力另一方面这套转换流程最终产出前缀token序列序列稳定与否直接决定KV Cache能否命中。KV Cache 底层逻辑没有KV Cache时每生成一个token都要重新计算全部上下文token的K、V向量计算量和上下文长度呈平方关系长对话场景性能极差。启用KV Cache后历史token的K、V向量只会计算一次并缓存新增token仅需要计算自身K、V再和缓存内容完成注意力运算。⚠️ 关键局限Transformer多层结构层层依赖输入前缀任意token变更所有层级缓存全部作废必须完整重跑prefill阶段。容易错误上下文方案动态系统提示词把时间戳、用户余额等动态数据写进system提示词每次请求前缀都不一样缓存永久失效动态调整工具顺序频繁变更工具定义排列顺序改变前缀token序列破坏缓存滑动窗口截断历史丢弃最早消息前缀持续变化缓存无法复用还容易丢失工具返回结果造成Agent循环调用抛弃标准消息、手动拼接文本即便缓存有可能命中也会削弱模型理解角色、连续思考、调用工具的能力。KV Cache 与 Prompt Cache 层级区分KV Cache作用层级模型推理内部服务单次请求。作用同一轮对话里复用历史token计算结果加速本轮token生成。Prompt Cache作用层级API服务层建立在KV Cache之上支持跨多次请求。作用多条请求前缀完全相同时服务商直接复用历史请求生成的KV缓存省去重复的前缀prefill计算降低API开销。厂商实现差异Anthropic 需要请求显式开启缓存功能缓存写入存在溢价附带最小缓存长度、TTL过期限制OpenAI 默认自动识别稳定前缀无需额外配置。缓存读取成本远低于首次完整计算。两者共性都依赖稳定不变的输入前缀。对比来看Prompt Cache影响跨请求计费在大规模Agent系统中带来的成本影响会更大。注意力机制附带设计启发从注意力热力图能观察到模型固有特征存在注意力储存池序列首个token会承接大量冗余注意力权重模型更容易记住上下文开头和结尾内容核心关键信息尽量放置在序列首尾多轮工具调用时模型会高频回看历史思考、工具定义长思维链高度依赖完整上下文。
