Octave создала безопасную AI-платформу на Amazon Bedrock

Как сообщает AWS Machine Learning, в управлении качеством для регулируемых отраслей институциональная память, которая решает проблему, почти всегда скрыта где-то в истории клиента. Аналогичный дефект, исследованный в прошлом году, исправил коренную причину, однако знания, которые могли бы помочь, находятся в миллиардах документов, которые невозможно просмотреть с помощью семантического поиска по языкам и форматам. Это приводит к тому, что каждое расследование начинается с нуля. Компания Octave Reliance помогла организациям собирать документы из множества систем, чтобы упростить поиск и отслеживание информации. Команда Octave увидела возможность в разблокировке этой истории, чтобы помочь клиентам работать быстрее и оставаться в соответствии с нормативами. Проблема заключалась в том, что записи о жалобах, результаты аудитов и корректирующие действия требуют строгой изоляции, и именно эти записи AI должен был прочитать. С платформой, обслуживающей более 14,000 клиентов в области медицинских устройств, фармацевтики и пищевого производства, любое случайное раскрытие информации от одного клиента к другому могло бы привести к серьезным регуляторным последствиям. Octave работает в 180 странах и обслуживает более 60% компаний из списка Global Fortune 500. Их облачная система управления качеством, Reliance, поддерживает более 650 корпоративных клиентов с более чем 40 приложениями, от управления жалобами до отслеживания CAPA и управления аудитами. Каждый клиент является отдельным арендатором, и данные не могут пересекаться между арендаторами. Столкнувшись с этой задачей, команда Reliance приняла нестандартное решение: вместо того чтобы разрабатывать одну AI-функцию, они потратили первый цикл на создание фундамента, на котором будут строиться все будущие функции. Этот фундамент уже сократил время развертывания для каждого случая на 50%. Если вы внедряете AI в платформу как услугу (SaaS), где данные ценны, но изоляция обязательна, то рассуждения выходят за рамки управления качеством. В статье рассматриваются четыре напряжения, которые повлияли на проектирование, и трехуровневый фундамент, который Octave построила с использованием Cohere Embed v4 на Amazon Bedrock. Затем описывается процесс, который внедрил 2 миллиарда документов и помощник по триажу жалоб, который доказал свою эффективность в производстве. Команда провела рабочие сессии с AWS, которые выявили четыре высокоэффективных случая использования: суммирование и триаж жалоб, мониторинг готовности к аудиту, генерация нарратива инцидентов и предсказание рисков качества. Также было выявлено, что создание AI для одного арендатора в изоляции означало бы необходимость перестройки инфраструктуры для следующего. Поэтому команда изменила план: сначала построить горизонтальную платформу, а затем вырезать вертикальные функции. Перед выбором единственной модели команда столкнулась с четырьмя проблемами, которые тянули в разные стороны. Никакая из них не могла быть проигнорирована. Необходимо было обеспечить доступ к данным без риска случайного раскрытия. Записи о жалобах, CAPA, стандартные операционные процедуры и результаты аудитов принадлежат одному арендатору и должны быть недоступны для другого. Даже случайный запрос AI не мог пересекаться. Хранилище векторов, логика извлечения и контекст генерации должны были быть ограничены одним арендатором. Осуществление действий в изоляции. Разрешения, регулирующие инструменты агента, хранилища данных и конечные точки моделей, должны были быть ограничены запрашивающим пользователем, а не общей служебной ролью, доступной только во время выполнения и с учетом прав доступа этого пользователя. Общий пул агентов со статическими учетными данными не подходил ни под одно из этих требований. Чтение контента, которому нельзя доверять. Агенты здесь обрабатывают жалобы, вложения электронной почты, отсканированные PDF-файлы и изображения из-за пределов организации. OWASP Top 10 для приложений больших языковых моделей (LLM) указывает угрозы, которые непосредственно применимы: инъекция команд через обрабатываемый контент, раскрытие конфиденциальной информации, неправильная обработка выходных данных и чрезмерная автономия. Скрытые инструкции в прикрепленном PDF-файле не являются гипотетическими в таком объеме. Octave применяет Amazon Bedrock Guardrails для защиты контента дважды: фильтрация входных данных и выходных данных. Извлечение, выполнение и фильтрация остаются на отдельных этапах, чтобы каждое из них можно было обеспечить и задокументировать отдельно. В результате, система обработки документов, которая обрабатывает более 2 миллиардов документов, была организована так, чтобы каждый арендатор мог быть включен в течение одного рабочего дня. Помощник по триажу жалоб был построен с использованием Strands Agents SDK, который открыто предоставлен AWS. Он композирует агентные рабочие процессы в виде графов, где узлы представляют собой вызовы инструментов или моделей, а ребра — зависимости данных между ними. Весь процесс проходит через AgentCore Gateway, который применяет аутентификацию и политику перед тем, как передать запрос в изолированную сессию microVM. Это обеспечивает уровень изоляции на уровне оборудования, который сохраняется независимо от поведения агента. В результате, помощник по триажу жалоб уже три месяца работает в производстве, и количество обработанных жалоб значительно увеличилось. Octave удалось сократить время разработки новых AI-возможностей с месяцев до недель, а также внедрить семантический поиск на два квартала раньше запланированного срока. Теперь Octave расширяет этот фундамент на весь пакет Reliance, включая мониторинг готовности к аудиту, генерацию инцидентов и предсказание рисков качества. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.