{{opener}} Generative AI позволил быстро и недорого создавать персонализированный контент. В предыдущем посте мы показали, как генеративный ИИ на Amazon Bedrock может производить персонализированный контент в больших объемах, соблюдая при этом брендовые стандарты и ограничения. Новая задача заключается в выборе: какой контент показать каждому клиенту и сколько времени потребуется, чтобы узнать ответ на этот вопрос? В этом посте мы делимся опытом Amazon Payments по применению ИИ для персонализации в воронке приобретения продуктов, используя многозадачный контекстный многорукий бандит (MAB) на платформе Amazon SageMaker AI. В ходе семинедельного онлайн A/B тестирования мы наблюдаем значительный рост конверсии на последнем этапе воронки для одной группы клиентов, в то время как другая группа не показала улучшений по сравнению с существующим опытом. Проблема оказалась в контенте, а не в модели. Мы обсуждаем интуицию, стоящую за бандитами, наше расширение для оптимизации всей воронки конверсии и архитектуру AWS, лежащую в основе решения. Многорукий бандит (MAB) — это метод обучения с подкреплением, разработанный для ситуаций с множеством вариантов и ограниченным трафиком. Он учится, какой вариант работает лучше всего, продолжая обслуживать клиентов, и рассматривает каждую вариацию контента как «руку», пытаясь каждую из них против живого трафика. Бандит никогда не прекращает делать и то, и другое, что позволяет ему постоянно улучшаться по мере добавления новых вариаций, и ему не нужно ждать завершения теста. A/B/n тестирование все еще имеет свое место, но по мере того как генеративный ИИ ускоряет количество вариаций, с которыми нужно работать, мы ожидаем, что бандиты займут все более значимую роль. В Amazon Payments мы выбрали UCB, стратегию, которая выбирает руку с наивысшей предполагаемой наградой плюс бонус неопределенности, что естественно балансирует эксплуатацию и исследование. Однако стандартный бандит обучает одну лучшую руку для всей аудитории. Персонализация требует учета того, кто является посетителем, и именно это обеспечивают контекстные бандиты. Контекстные бандиты принимают решения, основываясь на сигналах о визите. Наш производственный механизм представляет каждого клиента как вектор контекста поведенческих сигналов, таких как поведение при оплате и состав транзакций. Мы выбрали метод Linear UCB (LinUCB), который остается проверенным методом, эффективно работающим и обеспечивающим возможность аудита. Его ключевое предположение заключается в том, что ожидаемая награда для руки является линейной функцией вектора контекста, что позволяет ему обобщать для посетителей, которых он еще не видел. Наша цель заключалась в оптимизации всей воронки одновременно, запуская одну модель LinUCB для каждого этапа (начало, подача, одобрение) и комбинируя их UCB-оценки через линейную комбинацию. Мы использовали примерно равные веса. В практике можно было бы увеличить вес для одобрений, как только модель будет готова. Мы построили Jupyter-ноутбук для быстрого старта, чтобы протестировать этот подход на Amazon SageMaker AI. Результаты показали, что алгоритм выбора рук решает лишь половину задачи, так как качество контентного пула также имеет большое значение. В нашем A/B тестировании одна группа клиентов показала положительные результаты по всем метрикам воронки, тогда как другая не нашла выигрышных комбинаций. Уроки, извлеченные из развертывания этой системы, показывают, что при различиях в аудиториях лучше обучать модели отдельно. Оптимизация воронки, а не прокси-метрики, была ключевым решением. Генеративный ИИ убрал ограничения на производство персонализированного контента, а оставшаяся задача заключается в том, какой контент показать каждому клиенту. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.