Заголовок на английскомBenchMIRT: What are LLM benchmarks actually measuring?
A Blog post by Ai2 on Hugging Face
Кратко от AI: Главные тезисы
- A Blog post by Ai2 on Hugging Face
BenchMIRT: What are LLM benchmarks actually measuring?
Похожие материалы
Экс-гендиректор Google Эрик Шмидт назвал OpenAI и Anthropic современными колониальными торговыми компаниями
В сфере иностранных дел историк Найл Фергюсон, исследователь Лиза Клаассен и бывший генеральный директор Google Эрик Шмидт называют США и Китай империями искусственного интеллекта, а все остальные страны — зависимыми. Гонка будет решена не прорывами, а тем, кто сможет ее профинансировать. Одни только американские корпорации…
Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти.
Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти. Исследователи из австрийского института IST Austria представили квантованную версию модели, используя метод GSQ-RCO, а разработчики движка инференса Strata…
OpenAI открыла Decisions API
✔️ OpenAI открыла Decisions API Интерфейс снижает задержки и расходы на микрорешениях в агентных процессах, сводит GPT-6 Luna к задачам с жёстко ограниченным выводом и работает до десяти раз быстрее Responses API. Форматов ответа три - расчёт вероятности условия, выбор варианта…
OpenAI предлагает скидки до 90 процентов для переманивания крупнейших клиентов Anthropic
OpenAI переманивает клиентов Anthropic огромными скидками. Такие компании, как Rippling, Replit и DataCamp, заявляют, что после перехода им удалось сократить расходы на ИИ до 90 процентов. Рост Anthropic замедлился, но OpenAI обменивает собственную прибыль на долю рынка. Китайские конкуренты любят…