OpenAI给API加了Realtime API、Prompt Caching和Model Distillation。Prompt Caching这个挺实在,长prompt反复传的时候能少烧点钱。

https://openai.com/index/api-prompt-caching/