Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш...
Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно. Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш. Меньше…
- 01.Теперь в API OpenAI можно кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно
- 02.Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш
Теперь в API OpenAI [можно]() кэшировать промпты на срок до 12 часов, а для авторизованных пользователей Codex и Work кэш хранится бессрочно. Это означает, что даже спустя несколько часов можно вернуться к старой задаче и продолжить работу с гарантированным попаданием в кэш. Меньше повторной обработки контекста и, потенциально, меньше впустую потраченных лимитов. Побольше бы таких обновлений. 🍿
Related Intelligence
All stories →Anthropic opens its books for Wall Street, showing record revenue and mounting obligations
Anthropic is the first major AI lab to file an S-1 with the SEC, planning to list on the Nasdaq under the ticker "ANT." The numbers are strong, with $11.6 billion in quarterly revenue, a first-ever operating profit, and existing customers spending nine times more year over year.…
Создание агентной системы извлечения на базе Amazon Bedrock с CDK
AWS Machine Learning описывает создание агентной системы извлечения на базе Amazon Bedrock с использованием AWS CDK.
Кэширование запросов для ИИ-агентов на Amazon Bedrock
Кэширование запросов позволяет ИИ-агентам на Amazon Bedrock быть более эффективными.