ИИ-автопилот уклоняется от орбитального мусора при неточных данных

Как пишет Towards AI, на низкой околоземной орбите (LEO) сосредоточена инфраструктура, от которой зависят GPS-навигация, синхронизация финансовых транзакций, мониторинг климата и реагирование на стихийные бедствия. По данным наземных сетей слежения, там отслеживаются более 35 000 объектов размером больше 10 сантиметров. Кроме них, по оценкам, существуют около 900 000 фрагментов размером от 1 до 10 сантиметров. Их слишком мало, чтобы радары стабильно их отслеживали, но при скорости около 7,8 км/с (примерно 17 500 миль в час) они способны полностью вывести из строя действующий спутник. Ещё около 128 миллионов фрагментов размером от 1 миллиметра до 1 сантиметра не отслеживаются вовсе, и для защиты от них требуется экранирование. Столкновения на такой скорости могут запустить цепную реакцию, известную как синдром Кесслера: каждое столкновение дробит спутники на тысячи новых быстрых осколков, что повышает вероятность следующих столкновений, пока целые орбитальные слои не станут непригодными для использования. Чтобы предотвращать опасные сближения, такие структуры, как Сеть контроля космического пространства США (SSN), постоянно просчитывают орбиты и выпускают сообщения о сближении (CDM). Оператор одного спутника на низкой орбите получает сотни таких сообщений в неделю, где указаны сближения с неопределённым минимальным расстоянием и вероятностью столкновения. Сейчас снижение риска в основном опирается на участие человека в контуре управления: наземные радары фиксируют потенциальное сближение, операторы получают CDM за один–семь дней до момента наибольшего сближения, аналитики вручную оценивают ковариационные матрицы, строят модели движения, рассчитывают импульсы двигателей и загружают команды на аппарат. Такой процесс занимает часы или дни и не масштабируется. Операторы мегасозвездий, например Starlink, выполняют тысячи манёвров уклонения в год. Если каждое сближение требует ручного контроля, операции замедлятся, задержки реакции вырастут, а ошибки под давлением приведут к столкновениям. Поэтому, как считают авторы исследования, управление нужно переносить с Земли на борт, в систему автономного принятия решений. Бурриез и соавторы (2023) отмечают, что стандартные марковские процессы принятия решений (MDP) плохо подходят для космоса. Классическое обучение с подкреплением предполагает полную наблюдаемость состояния: агент точно знает свои координаты, скорость и ориентацию. В реальности на низкой орбите это невозможно. Данные о положении объектов искажены двумя видами неопределённости. Первый вид — случайный шум измерений радаров и оптических телескопов, которые дают не точку, а вероятностное облако возможных положений. Второй вид — ошибки моделей прогнозирования, например SGP4, которые упрощённо описывают гравитационные аномалии Земли, сопротивление верхней атмосферы и давление солнечного излучения. Со временем эти ошибки растут нелинейно. Спутник получает лишь зашумлённое наблюдение, а не истинное состояние. Авторы поясняют это сравнением с автомобилем, который мчится в густом тумане по шоссе со скоростью 17 500 миль в час, а приборная панель показывает GPS с погрешностью ±100 метров. Стандартный MDP-агент считает показания абсолютно точными: если сигнал на долю секунды покажет стену, он резко затормозит или резко рванёт руль. В космосе такая реакция приводит к избыточным коррекциям, которые истощают ограниченное топливо и могут направить аппарат прямо на другой неотслеживаемый обломок. Поэтому ИИ не должен реагировать на отдельные одиночные измерения. Ему нужна непрерывная память о прошлых наблюдениях, на основе которой формируется вероятностное «представление о состоянии» опасностей. Для этого нужен переход от MDP к частично наблюдаемому марковскому процессу принятия решений (POMDP). В POMDP агент не видит истинное состояние среды, а принимает решения на основе истории наблюдений. Формально система описывается кортежем из семи элементов (S, A, T, R, O, Z, γ). Пространство состояний S — непрерывное, это трёхмерные относительные положения и скорости спутника и обломка, всего 12 параметров. Пространство действий A дискретно: импульсы двигателей задаются по четырём измерениям, по пять вариантов на каждое, что даёт 625 возможных действий. Функция переходов T описывает движение по возмущённой кеплеровской орбите с помощью библиотеки Pykep. Наблюдения O представляют собой зашумлённые векторы состояния, а модель наблюдений Z объединяет гауссов шум датчиков и ошибки SGP4. Коэффициент дисконтирования γ равен 0,99, что позволяет оценивать долгосрочные компромиссы. Функция вознаграждения R многокритериальна. Она штрафует за риск столкновения, когда вероятность превышает 10⁻⁴, что соответствует порогу безопасности NASA. Она штрафует за расход топлива при любом ненулевом импульсе и дополнительно при суммарном расходе больше 10 условных единиц. Также учитывается дрейф орбиты: отклонения большой полуоси более чем на 100 метров, эксцентриситета более чем на 0,01 и углов наклонения, долготы восходящего узла и аргумента перицентра более чем на 0,01 радиана. Так агент не совершает резких манёвров, которые сделали бы основную миссию спутника бесполезной. В классическом POMDP агент должен вычислять распределение вероятностей по всем возможным истинным состояниям, то есть байесовское «состояние веры». Для 12-мерного орбитального пространства это вычислительно неосуществимо на бортовых компьютерах с ограниченными ресурсами. Бурриез и соавторы обходят эту проблему, встраивая слой долгой краткосрочной памяти (LSTM) в глубокую Q-сеть. Получается глубокая рекуррентная Q-сеть (DRQN). Скрытое состояние LSTM выполняет роль неявного обновления веры: оно хранит историю наблюдений и действий. Если радар дал ошибочное измерение, рекуррентная память сравнивает его с трендами прошлой траектории, сохраняя стабильную оценку и не допуская паники двигателей. Обучение в космической среде сталкивается с редкими экстремальными событиями, например с огромными штрафами за столкновения. Квадратичная функция потерь при таких выбросах создаёт резкие скачки градиентов, и обучение расходится. Поэтому используется функция потерь Хубера, которая ведёт себя квадратично для малых ошибок и линейно для больших выбросов. Дополнительно применяются буфер воспроизведения опыта, который хранит траектории и выбирает случайные последовательности для разрыва временных корреляций, и целевая сеть с мягким обновлением (τ = 0,1), которая обеспечивает стабильные целевые значения при обучении. Главная трудность обучения таких моделей — отсутствие реальных данных о столкновениях на орбите, ведь настоящие столкновения редки и уничтожают телеметрию. Публичные наборы TLE и исторические CDM показывают сближения, но не динамику после них. Поэтому авторы создали собственный симулятор полёта на основе Pykep. Сценарий восстанавливается в обратном порядке: сначала задаются элементы орбиты защищаемого аппарата, затем выбирается момент возможного столкновения, аппарат прогнозируется на этот момент с помощью SGP4, положение обломка задаётся случайным образом с учётом погрешности, а его скорость корректируется так, чтобы траектория вела к столкновению. Затем движение моделируется назад до начала эпизода. Такой подход позволяет получать правдоподобные сценарии для обучения агента. Таким образом, по версии авторов, рост числа спутников и объектов мусора делает ручное управление невозможным. Частично наблюдаемая среда требует от бортового ИИ памяти и вероятностного мышления, а не реакции на единичные измерения. Сочетание POMDP и DRQN с функцией потерь Хубера позволяет агенту сглаживать шум датчиков, экономить топливо и избегать опасных манёвров. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.