По данным Wired, некоторые крупные компании в области искусственного интеллекта считают, что лучший способ предотвратить хаос и непредсказуемость моделей — это держать их в закрытых лабораториях. Если доступ к ним будет ограничен, можно минимизировать потенциальный ущерб в реальном мире, пока исследователи пытаются понять их возможности. Однако Натан Ламбер и Том Цик, два ученых из индустрии, придерживаются противоположного мнения. Они основали некоммерческую организацию Trillium Labs, которая будет заниматься различными направлениями исследований в области ИИ, включая потенциально проблематичные области, такие как рекурсивное самоусовершенствование и агенты, более открытым способом. Это будет означать публикацию деталей экспериментов, чтобы внешние ученые могли их изучать и воспроизводить. Ламбер утверждает, что закрытый подход лабораторий по разработке передового ИИ снижает возможность сообщества критически оценивать идеи и вносить новые подходы. Он считает, что открытость в вопросах построения и настройки моделей может быть ключевой для снижения рисков. «На протяжении последних нескольких тысячелетий человечество использовало научный метод как способ уменьшить вред и строить лучшее будущее», — говорит Ламбер. «Текущий закрытый подход к разработке передового ИИ ведет нас назад». Модели, разработанные такими компаниями, как OpenAI и Anthropic, доступны только через приложения или интерфейсы прикладного программирования (API), что часто приводит к недостатку прозрачности в том, как они созданы и как ведут себя. Некоторые компании, особенно в Китае, предлагают сравнительно мощные модели, которые можно скачать и запустить на собственном оборудовании. Например, китайская компания Xiaomi недавно опубликовала живые данные о крупной тренировке одной из своих моделей. Исследователи Стэнфордского университета также открыто предобучают модель ИИ Marin. В настоящее время в индустрии идет борьба за то, какая стратегия является наилучшей, в основном из-за мощи современных моделей. Они могут автоматизировать обнаружение новых уязвимостей программного обеспечения и автоматически исследовать и взламывать системы, а недавние громкие случаи взломов привели к еще большему вниманию к этой проблеме. Сторонники системы ограниченного доступа утверждают, что крайне важно сохранить такую силу в руках доверенных лиц, в то время как сторонники Ламберта и Цика считают, что общее понимание рисков делает нас всех лучше. Ламбер ранее работал в Ai2, исследовательской лаборатории, которая использовала необычно открытый подход к ИИ, включая публикацию данных и методов обучения, используемых для создания моделей. Он также работал в Hugging Face, ведет популярный технический блог и основал инициативу American Truly Open Models, направленную на побуждение американских компаний к выпуску более открытых моделей. Цик работал в Гарвардском университете и помог Чарльзу Швабу разработать политику в области «ответственного ИИ». Оба встретились по Zoom во время пандемии COVID-19, когда оба были аспирантами в Университете Калифорнии в Беркли, работая над ИИ. Идея создания новой некоммерческой организации пришла к ним после того, как они увидели, насколько разрознены исследования ИИ в индустрии и академической среде; Ламбер говорит, что профессора и студенты часто не могут воспроизвести работу, проводимую в крупных лабораториях, из-за нехватки необходимых ресурсов. Цик сообщает, что Trillium Labs, которая была запущена сегодня, изначально сосредоточится на постобучении — дообучении крупных моделей после их создания. Еще одной ключевой областью будет рекурсивное самоусовершенствование, процесс разработки новых моделей с помощью ИИ. Перспектива того, что прогресс может продолжаться бесконечно, что приведет к утрате контроля со стороны человека, вызывает тревогу у многих исследователей ИИ. Эта проблема привлекла внимание широкой общественности в начале месяца, когда один из исследователей Anthropic покинул компанию и предупредил, что рекурсивное самоусовершенствование может представлять экзистенциальную угрозу для человечества. Некоммерческая организация также будет изучать, как обучение с подкреплением, которое вознаграждает модель за хорошие результаты и наказывает за плохие, может улучшить ее возможности. Этот подход сделал агентов намного более способными, но также и более склонными к неожиданным действиям. Они будут исследовать, как обучение с подкреплением формирует характер и поведение моделей ИИ, что может вызвать проблемы, когда модель становится чрезмерно угодливой, например. «Чтобы понять, как обучение с подкреплением масштабируется в постобучении, вам нужно значительное вычислительное время и много тщательных экспериментов», — говорит Цик. Она добавляет, что публикация деталей о том, как работает обучение с подкреплением, может привести к неожиданным инсайтам, когда внешние исследователи будут scrutinize эту работу. Лаборатория привлекла неразглашенную сумму от Schmidt Sciences, Halcyon Futures и других. Основатели заявляют, что планируют собрать от 40 до 100 миллионов долларов в общей сложности и потратить 30 миллионов долларов на обучение в течение следующих 18 месяцев. «Я большой поклонник гораздо большей прозрачности, чем у нас сейчас в НИОКР», — говорит Тим Фист, директор по политике в области новых технологий в Институте прогресса, аналитическом центре. Ламбер и Цик в конечном итоге надеются, что Trillium Labs внесет необходимую нюансировку в более широкую дискуссию о том, как лучше всего строить ИИ. «Мы находимся в эпохе дискурса об ИИ, доминируемом несколькими мировыми взглядами», — говорит Ламбер. «Мы считаем, что научный метод и тщательное измерение недавних событий — лучший способ понять новое поведение моделей ИИ. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.