Ускорение научного анализа изображений с NVIDIA cuPhoton

По сообщению NVIDIA Developer, обсерватории, телескопы и другие высокопроизводительные инструменты генерируют данные изображений быстрее, чем их могут обработать традиционные процессоры, что затрудняет принятие своевременных решений. Основная проблема заключается не в одном медленном ядре, а в целой цепочке от данных на сенсоре до принятия решения: чтение сырых данных, сопоставление функций рассеяния или откликов детекторов, вычитание или уменьшение, подгонка, классификация и уведомление. Современные научные учреждения накапливают петабайты многомерных данных за одну кампанию исследования. При использовании традиционных реализаций на процессорах получение научно полезных результатов может занять от нескольких часов до месяцев, а иногда и больше года, хотя инструмент производит данные за секунды. Эти задержки затрудняют ученым и инженерам извлечение полезной информации и продвижение своих исследований. Необходим путь, основанный на графических процессорах, который охватывает каждый этап от сенсора до принятия решения, а не просто более быстрая версия одного из этапов. NVIDIA cuPhoton — это открытый набор инструментов NVIDIA CUDA-X, предназначенный для ускорения всех этапов обработки изображений, включая спектральную и оптическую астрономию, а также анализ лазерных и рентгеновских данных. Держание данных изображений на графическом процессоре от чтения сенсора до классификации сокращает время ожидания до секунд, что позволяет исследователям работать интерактивно и сокращает время получения результатов, позволяя учреждениям соответствовать объему данных, производимым их инструментами. NVIDIA cuPhoton предоставляет инструменты для загрузки, обработки и анализа массивных многомерных наборов данных в астрономии, рентгеновской науке и других областях с высоким потоком данных. Например, обсерватория Вера К. Рубина, работающая с высокими требованиями к быстрой обработке научной информации, каждые 39 секунд после захода солнца фиксирует новое 3.2-гигапиксельное изображение южного неба. Процесс обработки должен классифицировать примерно 10,000 обнаружений как астрофизические транзиенты или артефакты, такие как космические лучи, следы спутников и ошибки обработки, в течение 60-120 секунд. За ночь это может составить до 20 терабайт изображений и 10 миллионов кандидатов. NVIDIA cuPhoton масштабируется на многопроцессорных системах и системах с несколькими узлами. На примерах рабочих нагрузок с сотнями терабайт данных, использующих несколько графических процессоров, cuPhoton ускорил загрузку изображений и чтение до 14,900 раз и обработку сигналов до 14,550 раз, превращая месяцы вычислительного времени в минуты. Анализ данных, который ранее занимал девять месяцев, был продемонстрирован за четыре часа на графическом процессоре с использованием Python. Для меньших наборов данных, размером в килобайты, весь процесс cuPhoton выполняется за миллисекунды или даже микросекунды. В данной статье рассматривается пример научного рабочего процесса, используя синтетическую пару астрономических изображений. Процесс включает в себя загрузку текущих экспозиций и эталонных данных в память графического процессора, выравнивание, подгонку и вычитание функций рассеяния, визуализацию результатов и другие этапы. Например, модуль xDataReader ускоряет декомпрессию, чтение и загрузку формата FITS непосредственно на графический процессор, что позволяет избежать задержек, связанных с передачей данных между процессором и графическим процессором. После регистрации cuPhoton распределяет полные пары изображений и их координаты кандидатов по нескольким графическим процессорам и узлам, обеспечивая эффективную обработку и анализ данных в реальном времени. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.