Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки. Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без плагина и сравнить разницу. Начните в папке вашего плагина и выполните: claude plugin eval init Вы объясняете Claude, как выглядит хороший и плохой результат, и даёте несколько реальных промтов. Claude сам набрасывает тестовые случаи и проверки, делает пробный прогон набора и сообщает, сколько будет стоить полный запуск. Затем выполните: claude plugin eval В терминале вы увидите оценку каждого тестового случая с вашим плагином и без него, а также получите HTML-отчёт со всеми подробностями. Если ваш аккаунт это поддерживает, отчёт также публикуется как приватный артефакт. Проверки вызывают модель, поэтому расходуют токены, а результаты могут отличаться от запуска к запуску. Перед полным прогоном сначала сделайте пробный запуск через: --runs 1 Хуки и MCP-серверы вашего плагина выполняются от вашего имени, поэтому проверяйте только те плагины, которым доверяете. Чтобы попробовать функцию, выполните: claude update https://code.claude.com/docs/en/plugin-evals
Материал агрегирован из первоисточника:
Telegram — Вайб-кодинг
Читать полностью в Telegram — Вайб-кодингНовое в Claude Code: claude plugin eval 🎉
Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки. Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без…
Кратко от AI: Главные тезисы
- Новое в Claude Code: claude plugin eval 🎉 Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки
- Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без…
Новое в Claude Code: claude plugin eval 🎉
Похожие материалы
Claude самостоятельно обошёл платный доступ к избирательной статистике Джорджии.
🔬️️️️️️ Claude самостоятельно обошёл платный доступ к избирательной статистике Джорджии. По сообщениям СМИ, подтверждённым Anthropic, это произошло во время внутреннего проекта по статистике. Модель узнала, что публичная панель ведомства выдаёт посетителям токен доступа,…
Владельцы песен Элвиса Пресли потребовали от разработчика ИИ $41 млн
Правообладатели песен Элвиса Пресли подали в суд на американскую компанию Anthropic, создателя нейросети Claude. Они обвиняют разработчика в незаконном использовании 274 композиций певца для обучения искусственного интеллекта и требуют $41,1 млн компенсации. За каждую песню…
Ideogram представила модель Vector 1.0
✔️ Ideogram представила модель Vector 1.0 Это первая специализированная модель компании для работы с векторной графикой, которая создает масштабируемые SVG-иллюстрации по текстовым запросам, а также векторизует загруженные растровые изображения форматов JPG и PNG. Результат…
Искусственный интеллект в радио: новый испаноязычный ведущий поддерживает иммигрантов
Койотек, первый испаноязычный радиоведущий на основе ИИ, поддерживает иммигрантов.
