It's worth reading how Anthropic tests code written by artificial intelligence.

Стоит прочитать как Anthropic проверяет код, написанный искусственным интеллектом. Claude пишет около 90% кода Claude Code. С июня по сентябрь количество смёрженных PR увеличилось более чем вдвое, а доля PR, изменения из которых впоследствии пришлось откатить, сократилась более чем на 40%. Вот как в Anthropic организован процесс код-ревью: 1. Перед созданием PR: запускаются тесты и сборка проекта, после чего независимый агент проверяет внесённые изменения. 2. При проверке каждого PR: несколько агентов ищут ошибки, а другие проверяют обоснованность их выводов. Дополнительно проводятся проверка безопасности и автоматические проверки в CI. 3. Количество обязательных одобрений зависит от уровня риска: изменения с низким уровнем риска при соблюдении определённых условий могут быть приняты без участия человека. Для изменений со средним уровнем риска требуется одобрение одного проверяющего, а с высоким — двух. 4. Новые функции внедряются постепенно с помощью feature flags. Если возникают проблемы, изменения можно быстро откатить. 5. Предыдущие инциденты становятся основой для ежедневных тестов (evals), результаты которых используются для совершенствования ИИ-агента, проводящего код-ревью. Особенно интересен подход Anthropic к оценке времени, затрачиваемого разработчиками. Компания учитывает не только время, необходимое для проверки кода, но и время, которое приходится тратить на устранение последствий ошибок. Сокращение времени на код-ревью не имеет смысла, если впоследствии разработчикам приходится тратить ещё больше времени на устранение инцидентов в продакшене. https://claude.dev/blog/solving-code-review-at-anthropic/