Как пишет NVIDIA Developer, с ростом принятия искусственного интеллекта по всему миру люди на разных языках и культурах используют его в различных аспектах своей повседневной жизни. Модели общего назначения служат мощной основой, но иногда им не хватает местных знаний, культурных нюансов и точности, необходимых для конкретного применения. Постобучение может адаптировать открытую модель к этим потребностям. С помощью подходящих данных и оценки оно может улучшить точность и полезность, а также поддерживать более безопасные взаимодействия с моделью. Это дает странам и отраслям больше контроля над тем, как их агенты отражают местные приоритеты и обслуживают людей, которые их используют. NVIDIA создала Nemotron-Personas-France в сотрудничестве с французским стартапом Pleias, а также Nemotron-Personas-Belgium совместно с Pleias и бельгийским университетом KU Leuven. Оба проекта являются частью открытой программы данных NVIDIA Nemotron, которая включает локализованные наборы данных персонажей для 12 стран, которые разработчики могут использовать для адаптации открытых моделей на каждом рынке. В этом блоге мы обсудим, как взять открытые модели Nemotron и дообучить их с помощью наборов данных Nemotron, чтобы адаптировать их к региональным языкам и культурам. Разница, которую вносит постобучение, очевидна. Например, если вы разрабатываете агента для паспортного агенства во Франции и получаете вопрос от клиента: «Je ne peux plus me déplacer à cause de ma santé. Comment faire ma demande de passeport?» (Перевод: «Я больше не могу путешествовать из-за здоровья. Как мне подать заявку на паспорт?»), типичный ответ при использовании базовой модели без постобучения может выглядеть так: «[…] Si vous êtes dans l’incapacité de vous déplacer, vous pouvez faire votre demande par courrier. […] Adressez le dossier complet par lettre recommandée avec accusé de réception à la direction générale des finances publiques […]» (Перевод: «[…] Если вы не можете путешествовать, вы можете подать заявку по почте. […] Отправьте полный пакет документов заказным письмом с уведомлением о вручении в Главное управление государственных финансов […]»). Этот ответ не конкретен, не поддерживается и противоречит фактической документации, доступной на правительственных веб-страницах, где указано, что для подачи документов государственный служащий должен приехать к вам домой — подача по почте не является вариантом. Чтобы улучшить взаимодействие, NVIDIA выпустила наборы данных Nemotron-Personas для Франции и Бельгии. Каждый персонаж является синтетическим жителем, основанным на региональных демографических, географических, лингвистических и культурных распределениях. Общий персонаж может звучать как «французский взрослый, которому нужен паспорт». Основанный на контексте персонаж имеет возраст, коммуну, профессию и домохозяйство, соответствующее данным переписи населения Франции, а также письменные профили работы и повседневной жизни. Это формирует то, что персонаж спрашивает, и как он это спрашивает. Это также может изменить правильный ответ: для жителя Французской Гвианы стоимость паспорта составляет 43 евро, в то время как в материковой Франции — 86 евро. Этот процесс использует Францию в качестве примера, но тот же подход применим к любому рынку Nemotron-Personas. Вы можете заменить набор данных персонажей на Nemotron-Personas-Belgium, который охватывает голландский, французский, немецкий и английский языки, обновить контракт поведения и рецензентов, и остальная часть рабочего процесса останется прежней. Эти наборы данных можно использовать для генерации синтетических разговоров для постобучения, которые охватывают больше людей, которых агент будет обслуживать, для лучшего понимания. Факты в каждом ответе берутся из официального текста процедур, который рабочий процесс связывает с каждым персонажем. Ответ в приведенном выше взаимодействии после дообучения может выглядеть так: «Si vous ne pouvez pas vous déplacer en raison de votre état de santé, vous pouvez demander qu’un agent se déplace à votre domicile. Pour cela, vous devez fournir un certificat médical de moins de 3 mois attestant de votre impossibilité de vous déplacer. Vous pouvez effectuer cette démarche en ligne via le site de l’ANTS ou en vous rendant dans une mairie équipée d’une station d’enregistrement. N’oubliez pas d’apporter vos documents originaux (pièce d’identité, photo, justificatif de domicile) et de régler les frais de timbre fiscal.» (Перевод: «Если вы не можете путешествовать из-за здоровья, вы можете попросить агента прийти к вам домой. Для этого вы должны предоставить медицинскую справку, выданную менее 3 месяцев назад, подтверждающую вашу невозможность передвижения. Вы можете сделать это онлайн через сайт ANTS или посетив мэрию, оснащенную регистрационной станцией. Не забудьте принести ваши оригинальные документы (удостоверение личности, фото, подтверждение адреса) и оплатить налоговый сбор.»). Ответ стал гораздо более кратким, в характере поддержки агента и сосредоточен на получении необходимых деталей для решения проблемы, что соответствует тому, как должен выглядеть реальный ответ службы поддержки. Рабочий процесс, описанный в данной статье, позволит вам адаптировать модель для этой задачи. Используйте этот рабочий процесс для адаптации модели, которая уже имеет некоторые возможности на вашем целевом языке для специфических требований приложения, таких как терминология, формальность, структура ответа или правила эскалации. Постобучение может помочь сделать эти поведения более последовательными и уменьшить количество повторяющихся инструкций. Синтетические данные, основанные на персонажах, могут расширить охват, когда подходящие разговоры ограничены или отсутствуют важные случаи. Например, Pleias использует три набора данных Nemotron-Personas, включая Францию и Бельгию, в своей работе над Lamina. Lamina — это помощник по уходу за позвоночником от партнера Pleias. Персонажи превращают несколько реальных случаев пациентов в разнообразные тренировочные разговоры. Они также позволяют Pleias тестировать помощника по различным профилям пациентов. Как говорит Pleias: «Лучшие данные, основанные на контексте, делают маленькую эффективную региональную модель жизнеспособной». Основная идея здесь заключается в том, чтобы улучшить охват и снизить слепые зоны в обучающих данных, а не гарантировать справедливость или правильное представление. Рабочий процесс, описанный ниже, связывает эти этапы, начиная от определения желаемого поведения до оценки адаптированной модели. Репозиторий Nemotron предоставляет шаги для генерации данных, обучения и оценки на основе открытого обучающего стека NVIDIA NeMo. Каждый шаг является многоразовым строительным блоком с определенными входами, выходами и параметрами конфигурации. Репозиторий также предоставляет коллекцию навыков агентов (например, настройка с использованием NVIDIA NeMo Automodel), которые помогают разработчикам собирать эти шаги в рабочий процесс. Для успешного выполнения этого учебника вам понадобятся: Python 3.11-3.13, uv, Git, Docker, NVIDIA Container Toolkit и доступ к репозиторию Nemotron. Одна станция NVIDIA DGX GB300 или один NVIDIA DGX Spark. Однако этот рабочий процесс также можно адаптировать для других систем NVIDIA GPU. Следуйте инструкциям из репозитория здесь. Запустите следующую команду, чтобы установить репозиторий Nemotron локально: git clone https://github.com/NVIDIA-NeMo/Nemotron.git cd Nemotron git checkout v0.2.0 uv sync --extra data-sdg --extra evaluator uv run nemotron steps --help. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.