Согласно материалу TechCrunch, инцидент с OpenAI и Hugging Face показал, что агенты ИИ могут быть непредсказуемыми. «Представьте, если бы что-то подобное произошло в реальном мире», — заявил Хоуи Сун, генеральный директор и соучредитель Laplace Intelligence. «Агенты ИИ переходят от компьютеров в реальный мир, и мы не хотим, чтобы физический ИИ терпел неудачи в реальной жизни». Компания из Энн-Арбора разрабатывает автоматизированное тестирование на уязвимости — по сути, стресс-тестирование системы с целью преднамеренно вызвать ее сбой — для робототехники и физического ИИ. Компания уверена, что единственный способ гарантировать безопасность физического ИИ — это позволить ИИ тестировать его. «Наша цель — помочь компаниям обнаруживать и исправлять проблемы до развертывания и, со временем, создать общую базу доказательств, которой могут доверять клиенты, страховщики и регуляторы», — добавил Сун. Laplace — одна из 20 стартапов, участвующих в конкурсе Startup Battlefield на мероприятии TechCrunch Disrupt, которое проходит в центре Сан-Франциско. Компания представит свои разработки на сцене Startup Battlefield в понедельник, 13 октября. Хоуи Сун, генеральный директор Laplace Intelligence, и его соучредитель и главный ученый Генри Лю основали Laplace год назад на базе Университета Мичигана. Сун провел последние восемь лет в академической среде, исследуя, как бросить вызов ИИ автономного вождения в симуляции. В 2023 году он и Лю, его тогдашний научный руководитель, опубликовали статью на эту тему, которая попала на обложку одного из ведущих научных журналов Nature. Именно тогда начали поступать звонки от компаний, занимающихся автономными автомобилями, заинтересованных в реализации их идей. «Я осознал, что хочу создать это и перевести из чисто академического исследования в продукт, который будет полезен в реальном мире», — отметил Сун. Используя свои академические исследования в качестве основы, Сун и Лю создали Laplace, названную в честь «демона Лапласа», мысленного эксперимента французского ученого Пьера-Симона Лапласа 1814 года, который предполагал, что если бы вы знали точное состояние всего во Вселенной, вы могли бы предсказать будущее с полной точностью. «Мы, по сути, используем симуляцию для предсказания будущего реального мира», — добавил Сун. В основе стартапа лежит высокоточная симуляция, реконструированная из реального мира, в сочетании с агентом ИИ, который постоянно ищет уязвимости и точки отказа. Цель состоит в том, чтобы гарантировать, что любой физический ИИ — будь то робот, автономный автомобиль или решение для умного города — будет безопасен в симуляции до его развертывания в реальном мире. Симуляционная среда представляет собой пост-тренированную версию платформы симуляции мира ИИ от Nvidia, которая основана на реальном мире и позволяет Laplace реконструировать все, от шоссе Аризоны до пешеходного перехода в Париже. Симуляции создаются путем смешивания различных реальных данных. Разработчики могут использовать языковые подсказки для изменения настройки в реальном времени, например, добавляя вечерний трафик. Сун говорит, что Laplace получает информацию о реальном времени о трафике и заторах от поставщиков навигации, таких как TomTom. В симуляциях Laplace моделируются не только окружающая среда, но и поведение других участников. Например, во время демонстрации Сун направил тестовый автомобиль в лобовое столкновение с встречным транспортом. Автомобиль, в который он должен был врезаться, или который проехал бы сквозь него, как это часто бывает среди некоторых генеративных моделей мира, увернулся, чтобы избежать столкновения. «Это действительно интерактивная симуляционная среда», — сказал Сун. «Все реагируют на все. …Это больше похоже на модель мира с интерактивными участниками». Хотя смоделированная среда является важной частью продукта Laplace, настоящая уникальная особенность — это агенты ИИ, которые стартап разрабатывает для автоматического проектирования крайних случаев (сложных, редких сценариев, которые могут сбить с толку систему ИИ), что позволяет человеку находиться дальше от процесса. «Они могут проектировать на основе новостей, полицейских отчетов о столкновениях — всякого рода информации, чтобы активно бросать вызов автономным автомобилям и другим физическим агентам ИИ», — добавил Сун. Сегодня разработчики автономных автомобилей в основном обучают ИИ справляться с крайними случаями, используя записанные кадры, которые затем превращаются в симуляцию, или полагаясь на людей для генерации новых идей и их проектирования. Хотя многие компании по разработке автономных автомобилей начали применять ИИ для создания крайних случаев для обучения, как, например, компания Waabi, потребность в такой технологии станет очевидной, когда мы начнем внедрять обобщенные роботы в реальный мир. «Данных о обобщенной робототехнике меньше», — отметил Сун. «Никто не знает, какими будут крайние случаи в реальном мире». Несмотря на то, что Сун и Лю пришли из академической среды, не имея блестящего опыта работы в технологических компаниях Кремниевой долины, им удалось начать генерировать доход и даже получить скромную прибыль. Большая часть средств поступает от случаев использования автономного вождения, среди клиентов — японский производитель грузовиков Isuzu и компания Bot Auto из Техаса. Nvidia также является клиентом, говорит Сун. Обе компании, наряду с T-Mobile, работают над бесплатным пилотом умного города для города Сан-Хосе, чтобы обеспечить высокоуровневую работу с трафиком. Laplace также находится на ранних стадиях сотрудничества с партнерами, занимающимися созданием гуманоидной робототехники для складов. Большинство контрактов Laplace на сегодняшний день основаны на проектах, и компания работает над тем, чтобы превратить это в регулярный доход. Ближайшая цель стартапа — которую он надеется достичь, участвуя в Disrupt — это привлечь средства и масштабироваться, чтобы конкурировать с соперниками. Главным среди его конкурентов является Applied Intuition, популярный стартап на поздних стадиях, который до сих пор собрал 1,2 миллиарда долларов при оценке в 15 миллиардов долларов. Isuzu также является одним из клиентов Applied. Сун не слишком обеспокоен. Он считает, что основная методология Laplace, использующая ИИ для тестирования ИИ, представляет собой «новую парадигму, которая полностью изменяет тестирование физического ИИ», превращая его в «динамический интерактивный процесс тестирования». «Это будет самым большим преимуществом», — сказал он. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.