Right Order, Wrong Scale: Auditing LLM Judges for Occupational AI Measurement
LLM judges are increasingly used to assess whether AI outputs meet workplace requirements, but agreement on response rankings does not establish agreement on acceptance rates or occupational aggregates. We introduce O*NET-BENCH, an audit suite derived from an existing survey of…
- 01.LLM judges are increasingly used to assess whether AI outputs meet workplace requirements, but agreement on response rankings does not establish agreement on acceptance rates or occupational aggregates
- 02.We introduce O*NET-BENCH, an audit suite derived from an existing survey of…
Материал представлен в формате расширенного аналитического дайджеста.
Читать полную версию в первоисточникеСвязанные материалы
Все материалы →От юридического «узкого места» до делового партнера | Эмма Кадри Бергстрем из Legora
Когда-то проверка соглашений о неразглашении занимала около 20% возможностей юридической команды Legora. Сегодня эта цифра составляет менее 1%. Главный юрисконсульт Эмма Кадри Бергстрем рассказывает, как ИИ помогает ее команде выиграть время, поддержать быстрорастущий бизнес и взять на себя более сложную работу, одновременно заставляя юристов…
Строим будущее юридической работы с помощью ИИ | Генеральный директор Legora Макс Джунстранд
Соучредитель и генеральный директор Legora Макс Джунстранд хочет сделать юридическую экспертизу доступной везде, где она необходима. Он рассказывает, как OpenAI помогла превратить эти амбиции в платформу, почему важно оставаться ориентированным на искусственный интеллект по мере роста компании и что становится возможным, когда юристы могут взять на себя работу, которая…
Ускоренная проверка контракта. Более широкий юридический анализ. | Алекс Фортескью-Уэбб из Legora
Когда сроки ограничивают количество контрактов, которые могут изучить юристы, важные риски могут остаться незамеченными. Алекс Фортескью-Уэбб, глобальный руководитель юридического отдела Legora, объясняет, как искусственный интеллект на основе моделей OpenAI помогает командам анализировать тысячи контрактов по множеству вопросов за считанные минуты…