Контейнеры для высокопроизводительных вычислений: Новый шаг к портативности научных приложений

от

Автор: Денис Аветисян

В статье демонстрируется возможность использования контейнерной технологии для создания переносимой и воспроизводимой среды для сложных научных расчетов.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
На вычислительных системах Karolina наблюдается стабильное увеличение времени инициализации MPI при использовании контейнеров Apptainer с ростом числа узлов, в то время как на JURECA контейнеризация демонстрирует значительно более быстрое время инициализации MPI по сравнению с нативной реализацией, указывая на оптимизированный процесс загрузки MPI внутри контейнерной среды и различия в архитектуре систем.
На вычислительных системах Karolina наблюдается стабильное увеличение времени инициализации MPI при использовании контейнеров Apptainer с ростом числа узлов, в то время как на JURECA контейнеризация демонстрирует значительно более быстрое время инициализации MPI по сравнению с нативной реализацией, указывая на оптимизированный процесс загрузки MPI внутри контейнерной среды и различия в архитектуре систем.

Исследование показывает, как контейнеры Apptainer позволяют добиться производительности, близкой к нативной, и обеспечить развертывание научных рабочих процессов на различных HPC-системах.

Разработка и перенос сложных научных приложений между гетерогенными высокопроизводительными вычислительными системами (HPC) часто затрудняется зависимостями от конкретной инфраструктуры и сложными процессами сборки. В данной работе, посвященной теме ‘HPC Containers for EBRAINS: Towards Portable Cross-Domain Software Environment’, исследуется возможность использования портативных контейнерных образов HPC для инкапсуляции программных стеков, поддерживающих MPI и CUDA, без существенной потери производительности. Показано, что применение контейнеризации на базе Apptainer и PMIx позволяет добиться воспроизводимости и близкой к аппаратной производительности научных вычислений на различных HPC-кластерах, включая Karolina и Jureca-DC. Сможет ли предложенный подход упростить развертывание и масштабирование научных рабочих нагрузок в рамках инфраструктуры EBRAINS и за ее пределами?

Вызов научной программной экосистемы

Современная вычислительная наука все чаще опирается на сложные программные стеки, состоящие из множества взаимодействующих компонентов и библиотек. Это, в свою очередь, создает серьезные трудности в обеспечении переносимости и воспроизводимости научных результатов. Невозможность гарантировать, что программное обеспечение будет корректно функционировать на различных вычислительных платформах или что результаты, полученные ранее, могут быть точно повторены, ставит под вопрос достоверность и надежность научных исследований. Проблема усугубляется разнообразием операционных систем, компиляторов и аппаратных архитектур, используемых в высокопроизводительных вычислительных средах. Поэтому, разработка эффективных инструментов и методов для управления зависимостями, версионирования и автоматизации развертывания программного обеспечения становится критически важной задачей для современной науки.

Традиционные методы развертывания программного обеспечения часто сталкиваются с трудностями при учете всех зависимостей и обеспечении согласованного выполнения в различных высокопроизводительных вычислительных средах. Это связано с тем, что программное обеспечение для научных исследований всё чаще использует сложные библиотеки и инструменты, которые могут отличаться в зависимости от операционной системы, архитектуры процессора или версии компилятора. В результате, программа, успешно работающая на одной системе, может давать неверные результаты или вовсе не запускаться на другой, даже если формально код остается неизменным. Отсутствие четкого определения и управления этими зависимостями серьезно затрудняет воспроизводимость научных результатов и препятствует эффективному обмену программным обеспечением между исследователями. Решение этой проблемы требует разработки новых подходов к управлению пакетами, контейнеризации и автоматизации развертывания, позволяющих гарантировать, что программное обеспечение будет работать предсказуемо и надежно в любой вычислительной среде.

Исследования масштабируемости на кластерах Karolina и JURECA-DC показали, что использование контейнеров Apptainer обеспечивает сопоставимую производительность с нативной реализацией, при этом время симуляции линейно возрастает с увеличением числа узлов.
Исследования масштабируемости на кластерах Karolina и JURECA-DC показали, что использование контейнеров Apptainer обеспечивает сопоставимую производительность с нативной реализацией, при этом время симуляции линейно возрастает с увеличением числа узлов.

Контейнеризация и HPC: Мощный Синергизм

Контейнеризация, осуществляемая с помощью инструментов, таких как Apptainer, представляет собой надежное решение для упаковки научного программного обеспечения вместе со всеми его зависимостями. Это включает в себя не только исполняемые файлы и библиотеки, но и системные инструменты, данные конфигурации и необходимые среды выполнения. Apptainer использует подход, основанный на образах, позволяющий создать самодостаточный пакет, содержащий все необходимое для функционирования приложения. Такой подход позволяет избежать проблем, связанных с несовместимостью версий библиотек или отсутствием необходимых компонентов в целевой системе, обеспечивая предсказуемое поведение приложения в различных вычислительных окружениях.

Контейнеризация, посредством инструментов вроде Apptainer, значительно повышает переносимость программного обеспечения, обеспечивая его стабильную работу на различных высокопроизводительных вычислительных системах (HPC) и архитектурах. Это достигается за счет упаковки приложения вместе со всеми необходимыми зависимостями — библиотеками, runtime-средами и конфигурационными файлами — в единый, самодостаточный контейнер. В результате, приложение не требует предварительной установки или настройки специфических для каждой системы компонентов, что упрощает развертывание и обеспечивает предсказуемое поведение независимо от базовой инфраструктуры. Это особенно важно для гетерогенных вычислительных сред, где приложения должны функционировать на различных типах процессоров, операционных системах и сетевых конфигурациях.

Контейнеризация, заключая в себе полный стек программного обеспечения — исполняемые файлы, библиотеки и зависимости — значительно повышает воспроизводимость научных вычислений. Это достигается за счет устранения вариативности, связанной с различиями в операционных системах, версиях библиотек и прочих параметрах окружения. В результате, один и тот же контейнер с приложением будет работать идентично на различных вычислительных системах, минимизируя риск ошибок, вызванных несоответствием окружения и обеспечивая надежность результатов исследований. Использование контейнеров позволяет гарантировать, что полученные данные могут быть воспроизведены другими исследователями в любое время, независимо от их локальной конфигурации.

На системах Karolina и JURECA контейнеризация Apptainer не оказывает заметного влияния на пропускную способность шины NCCLAllReduce для различных размеров сообщений, отклоняясь от результатов нативного исполнения не более чем на 1.3%.
На системах Karolina и JURECA контейнеризация Apptainer не оказывает заметного влияния на пропускную способность шины NCCLAllReduce для различных размеров сообщений, отклоняясь от результатов нативного исполнения не более чем на 1.3%.

Оптимизация Производительности в Контейнеризированных Рабочих Процессах

Эффективная коммуникация является критически важным фактором масштабирования научных приложений на высокопроизводительных вычислительных системах (HPC). Многие научные расчеты интенсивно используют Message Passing Interface (MPI) для обмена данными между процессами, работающими на различных узлах кластера. Кроме того, для ускорения вычислений часто применяются графические процессоры (GPU) и CUDA, что требует оптимизации коммуникации между GPU и CPU, а также между самими GPU. Производительность MPI и CUDA напрямую влияет на общую скорость и эффективность научных приложений, поэтому оптимизация этих компонентов является ключевой задачей при разработке и развертывании приложений в HPC-среде. Недостаточная скорость коммуникации может стать узким местом, ограничивающим масштабируемость и производительность даже самых мощных вычислительных ресурсов.

Инструмент Spack обеспечивает сборку и управление зависимостями сложных программных стеков, что критически важно для контейнеризированных сред. Spack позволяет автоматизировать процесс установки и настройки программного обеспечения, учитывая специфические требования аппаратной платформы и контейнерной инфраструктуры. Он предоставляет возможность определения конфигураций, версий и опций компиляции, обеспечивая воспроизводимость и переносимость результатов. Использование Spack упрощает интеграцию различных пакетов и библиотек, а также управление их зависимостями, что особенно важно для научных вычислений, требующих специфических версий и конфигураций программного обеспечения. Автоматизация, предоставляемая Spack, снижает вероятность ошибок и упрощает масштабирование контейнеризированных рабочих процессов.

Для точной настройки производительности межпроцессного взаимодействия в контейнеризованных рабочих нагрузках на высокопроизводительных вычислительных системах используются эталонные тесты OSU Microbenchmarks и NCCL Tests. OSU Microbenchmarks позволяют оценить задержки и пропускную способность различных типов коммуникаций, включая MPI. NCCL Tests, разработанные для оценки производительности GPU-to-GPU коммуникаций, демонстрируют пренебрежимо малые накладные расходы при использовании в контейнеризованных средах. Результаты тестов NCCL показывают, что пропускная способность меж-GPU коммуникаций остается практически неизменной, что подтверждает минимальное влияние контейнеризации на производительность приложений, интенсивно использующих GPU.

Интерфейсы управления процессами, такие как PMIx, играют ключевую роль в запуске и управлении распределенными приложениями в контейнеризованных средах высокопроизводительных вычислений (HPC). PMIx обеспечивает механизм для обнаружения, запуска и мониторинга процессов MPI на различных узлах кластера, даже в контейнеризованных окружениях. Он позволяет приложениям динамически определять доступные ресурсы и эффективно распределять задачи между ними, обеспечивая масштабируемость и отказоустойчивость. В контейнеризованных системах PMIx абстрагирует сложность управления процессами внутри контейнеров, предоставляя единый интерфейс для взаимодействия с ними, что существенно упрощает развертывание и управление сложными научными приложениями.

Сравнение задержки межузловой связи <span class="katex-eq" data-katex-display="false">osu\_latency</span> между контейнерным (Apptainer) и нативным исполнением на кластерах Karolina и JURECA показывает, что меньшие значения задержки достигаются при использовании контейнеризации, при этом зависимость задержки от размера сообщения является логарифмической.
Сравнение задержки межузловой связи osu\_latency между контейнерным (Apptainer) и нативным исполнением на кластерах Karolina и JURECA показывает, что меньшие значения задержки достигаются при использовании контейнеризации, при этом зависимость задержки от размера сообщения является логарифмической.

Продвижение Исследований Мозга с Воспроизводимыми Рабочими Процессами

Платформа Ebrains представляет собой комплексное программное обеспечение, использующее контейнеризацию и оптимизированные рабочие процессы для содействия совместной работе в области изучения мозга. Контейнеризация позволяет исследователям создавать переносимые и воспроизводимые вычислительные среды, гарантируя, что результаты моделирования не зависят от конкретной аппаратной или программной конфигурации. Это особенно важно для сложных симуляций, требующих значительных вычислительных ресурсов и участия нескольких исследовательских групп. Благодаря стандартизации сред выполнения, Ebrains упрощает обмен данными, код и результаты, ускоряя тем самым процесс научных открытий и способствуя более эффективному сотрудничеству между учеными, работающими над разгадкой тайн работы мозга.

Современные симуляторы, такие как Arbor и NEURON, работающие в контейнеризированной среде, предоставляют исследователям беспрецедентные возможности для моделирования сложных нейронных систем с повышенной точностью и воспроизводимостью. Эти инструменты позволяют создавать детализированные модели, охватывающие различные уровни организации нервной системы — от отдельных нейронов до целых нейронных сетей. Контейнеризация обеспечивает стандартизацию вычислительной среды, что существенно снижает влияние внешних факторов на результаты моделирования и облегчает проверку и повторение исследований другими учеными. Благодаря этому, результаты, полученные с использованием Arbor и NEURON в контейнеризированной среде, становятся более надежными и легко верифицируемыми, способствуя прогрессу в нейробиологии и смежных областях.

Для обеспечения высокой производительности масштабных симуляций мозга, современные исследования активно используют высокоскоростные межсоединения, такие как InfiniBand, в сочетании с контейнеризированными приложениями. Такой подход позволяет эффективно распределять вычислительную нагрузку между множеством узлов, значительно ускоряя процесс моделирования. В частности, симулятор Arbor, работающий на суперкомпьютере Karolina, продемонстрировал сильную масштабируемость, достигнув эффективности в 85.9%. Это означает, что при увеличении числа вычислительных узлов, производительность системы практически линейно возрастает. Более того, слабая масштабируемость, протестированная на JURECA, показала впечатляющий результат в 99.1%, подтверждая возможность эффективного моделирования систем с постоянно растущим уровнем сложности и детализации.

Внедрение контейнеризации, несмотря на свои преимущества в обеспечении воспроизводимости и масштабируемости, сопряжено с некоторым увеличением времени инициализации. Исследования показали, что при использовании графических процессоров (GPU) в симуляторе Arbor, время инициализации контейнера, построенного на базе технологии OSU, увеличивается на 18.2% по сравнению с прямой установкой. Этот небольшой оверхед обусловлен необходимостью настройки окружения внутри контейнера, однако, он компенсируется повышенной надежностью, переносимостью и упрощением развертывания сложных научных приложений, что особенно важно для крупных проектов моделирования мозга, требующих согласованности результатов между различными исследовательскими группами и вычислительными платформами.

Результаты сильных масштабирований показывают, что использование контейнеризации Apptainer на вычислительных кластерах Karolina и JURECA обеспечивает масштабируемость, близкую к идеальной, для модели нейронной сети с <span class="katex-eq" data-katex-display="false">124\,000</span> ячеек и <span class="katex-eq" data-katex-display="false">10</span> синапсов на ячейку, при этом время симуляции уменьшается с увеличением числа узлов.
Результаты сильных масштабирований показывают, что использование контейнеризации Apptainer на вычислительных кластерах Karolina и JURECA обеспечивает масштабируемость, близкую к идеальной, для модели нейронной сети с 124\,000 ячеек и 10 синапсов на ячейку, при этом время симуляции уменьшается с увеличением числа узлов.

К Устойчивым Экосистемам Научного Программного Обеспечения

В постоянно меняющемся ландшафте высокопроизводительных вычислений (HPC) автоматизированные цепочки сборки, основанные на принципах непрерывной интеграции (CI), играют критически важную роль в обеспечении качества, воспроизводимости и переносимости научного программного обеспечения. Эти процессы автоматизируют этапы сборки, тестирования и развертывания кода, существенно снижая нагрузку на исследователей и позволяя им сосредоточиться на научных задачах. Благодаря CI-Driven Build Flows, становится возможным оперативное выявление и устранение ошибок, а также гарантируется, что программное обеспечение будет работать предсказуемо и надежно в любой вычислительной среде. Это особенно важно в контексте все более сложного программного обеспечения для научных исследований, где даже небольшие ошибки могут привести к значительным погрешностям в результатах.

Автоматизация процессов сборки, тестирования и развертывания программного обеспечения значительно снижает нагрузку на исследователей, позволяя им сосредоточиться на научных задачах, а не на технических деталях. Эти автоматизированные рабочие процессы минимизируют ручной труд, сокращают количество ошибок и обеспечивают воспроизводимость результатов, что особенно важно в высокопроизводительных вычислениях. Благодаря этому, ученые получают возможность быстрее разрабатывать, проверять и внедрять новые научные решения, что в конечном итоге ускоряет темпы научных открытий и способствует более эффективному использованию вычислительных ресурсов. Сокращение времени, затрачиваемого на рутинные операции, высвобождает ценные ресурсы для инноваций и углубленного анализа данных.

Комплексный подход, объединяющий контейнеризацию, оптимизированную коммуникацию и автоматизированные рабочие процессы, создает основу для устойчивой и эффективной научной программной экосистемы. Исследования показывают, что данный подход не только упрощает процесс разработки и распространения научного программного обеспечения, но и повышает его надежность и воспроизводимость. В частности, анализ производительности GPU-приложений Arbor на различных вычислительных узлах выявил постоянный относительный оверхед в размере 16.6%, что подчеркивает важность оптимизации коммуникаций и эффективного использования ресурсов даже в высокопроизводительных системах. Внедрение подобных автоматизированных рабочих процессов позволяет исследователям сосредоточиться на научных задачах, а не на технических аспектах, тем самым ускоряя темпы научных открытий и способствуя созданию более устойчивой и результативной научной среды.

Исследование демонстрирует, что контейнеризация сложных научных рабочих процессов, как описано в статье, позволяет добиться не только переносимости, но и производительности, близкой к нативной. Это особенно важно для таких ресурсоемких задач, как моделирование в рамках проекта EBRAINS. Подход, основанный на Apptainer, позволяет абстрагироваться от специфики каждой вычислительной системы, обеспечивая воспроизводимость результатов. Как однажды заметила Барбара Лисков: «Хороший дизайн — это когда система может меняться, не ломая старый код». В данном контексте, контейнеризация — это и есть такой “хороший дизайн”, позволяющий эволюционировать научные приложения без потери совместимости и надежности, обеспечивая стабильность и масштабируемость вычислений.

Что дальше?

Представленная работа лишь приоткрывает ящик Пандоры. Достижение производительности, сравнимой с «голым железом», внутри контейнера — это, конечно, интересно, но куда более любопытно, что скрывается за пределами этой иллюзии. Вопрос не в том, чтобы идеально эмулировать окружение, а в том, чтобы понять, насколько вообще возможно говорить о «чистой» производительности в эпоху гетерогенных вычислений. MPI и CUDA, заключенные в контейнер — это не победа над сложностью, а лишь её временное усмирение.

Следующий этап — не оптимизация существующих рабочих процессов, а их намеренное разрушение. Необходимо исследовать, как контейнеризация влияет на принципы параллельного программирования, на взаимодействие между узлами кластера. Недостаточно просто «запустить» код; нужно понять, как контейнер меняет саму природу вычислений, провоцирует новые ошибки и открывает неожиданные возможности. Допустим, удастся создать самовоспроизводящиеся контейнеры, адаптирующиеся к различным архитектурам «на лету»?

В конечном счете, контейнеризация — это лишь инструмент. Важно помнить, что сама реальность сложнее любой модели. Истинный прогресс заключается не в создании идеальных контейнеров, а в постоянном переосмыслении принципов, лежащих в основе научных вычислений. Попытка «законсервировать» научный процесс — это иллюзия, но именно в этой иллюзии и кроется потенциал для настоящих открытий.

Оригинал статьи: https://arxiv.org/pdf/2603.12044.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-15 20:04