Про новую макроэкономику ИИ
Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека. Вообще сейчас пошел тренд на ИИ-бухгалтерию, тут кейсы Компания…
- 01.Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека
- 02.Вообще сейчас пошел тренд на ИИ-бухгалтерию, тут кейсы Компания…
Про новую макроэкономику ИИ Один из крупных разметчиков данных для ИИ-лабораторий Mercor сравнил работу бухгалтеров с ИИ-моделями на реальных задачах и предлагает иначе мерить момент, когда модель обходит человека. Вообще сейчас пошел тренд на ИИ-бухгалтерию, [тут]()[кейсы]() Компания наняла 12 бухгалтеров, в среднем с 5,5 годами опыта, и дала им 4 задачи. Те же задания прогнали через модели разных лет. Люди работали без ИИ и им дали 3 часа на каждую задачу. Авторы исследования говорят, если в мае 2025 бухгалтеры были сильнее ИИ-моделей, то сейчас модели на этих заданиях почти идеальны, быстрее и на порядок дешевле даже лучшего специалиста из выборки. Из этого видно противоречие, что баллы на бенчмарках за пару лет взлетели, а в статистике, например, США вклад ИИ в рост производительности пока почти не виден. Чтобы это разобрать, нужно понимать, как тест соотносится с настоящей работой, и как её сделал бы человек. Отсюда вытекает второй вывод - пока модель слабее человека, логично спрашивать на бенчмарках, когда она его догонит. Но когда она упирается в потолок своих возможностей, тогда такой бенчмарк ничего не различает. Дальше полезнее смотреть на задачи, которые раньше были слишком дорогими или невозможными. Mercor ставит вопрос: в какой момент на конкретной работе модель проходит человеческий уровень? Что из этого следует для рынка труда - отдельный вопрос, и он не заменяет подсчёт экономики ИИ.
Related Intelligence
All stories →OpenAI announces three big science discoveries and a new way to work with academics
Less than a month after its mass release of hundreds of manuscripts that it said contained solutions to long-standing mathematics questions, OpenAI is back with three more "major" discoveries in math, computer science, and physics. What's different this time is the choice to…
Anthropic files for IPO
The placement volume and price per share have not yet been announced
Anthropic uses gas to fuel AI growth
Anthropic reports on its centers' dependence on natural gas and the associated risks.