Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш...
Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно. Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш. Меньше…
- 01.Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно
- 02.Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш
Теперь в API OpenAI [можно]() кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно. Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш. Меньше повторной обработки контекста и, потенциально, меньше впустую потраченных лимитов. Побольше бы таких обновлений. 🍿
Related Intelligence
All stories →Anthropic 为华尔街打开账目，显示创纪录的收入和不断增加的债务
Anthropic 是第一个向 SEC 提交 S-1 的大型人工智能实验室，计划在纳斯达克上市，股票代码为“ANT”。这些数字很强劲，季度收入达 116 亿美元，营业利润首次实现，现有客户的支出同比增长九倍……
Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.