提示缓存
Prompt Caching
也称上下文缓存 / Context Caching / 缓存命中
重复使用同一大段输入时,复用之前的部分计算
怎么理解
有些服务可以保存一段已经处理过的输入,下次遇到相同部分时复用计算,不必全部从头再做。这叫提示缓存,在符合服务规则时可能减少费用或等待。
举个例子
你反复围绕同一本产品手册提问。手册和固定要求每次都相同,服务可能复用这部分的处理结果,只继续处理这次的新问题。
补充说明
这通常不是直接返回上次的完整答案,也不是保证永久记住资料。是否命中、能保存多久、怎样计费,要看所用服务。