Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека. Вообще сейчас пошел тренд на ИИ-бухгалтерию, [тут]()[кейсы]() Компания наняла 12 бухгалтеров, в среднем с 5,5 годами опыта, и дала им 4 задачи. Те же задания прогнали через модели разных лет. Люди работали без ИИ и им дали 3 часа на каждую задачу. Авторы исследования говорят, если в мае 2025 бухгалтеры были сильнее ИИ-моделей, то сейчас модели на этих заданиях почти идеальны, быстрее и на порядок дешевле даже лучшего специалиста из выборки. Из этого видно противоречие, что баллы на бенчмарках за пару лет взлетели, а в статистике, например, США вклад ИИ в рост производительности пока почти не виден. Чтобы это разобрать, нужно понимать, как тест соотносится с настоящей работой, и как её сделал бы человек. Отсюда вытекает второй вывод - пока модель слабее человека, логично спрашивать на бенчмарках, когда она его догонит. Но когда она упирается в потолок своих возможностей, тогда такой бенчмарк ничего не различает. Дальше полезнее смотреть на задачи, которые раньше были слишком дорогими или невозможными. Mercor ставит вопрос: в какой момент на конкретной работе модель проходит человеческий уровень? Что из этого следует для рынка труда - отдельный вопрос, и он не заменяет подсчёт экономики ИИ.