Инфраструктура для ML-проектов: ключевые требования, сложности и решения

Машинное обучение кардинально изменило подходы к построению ИТ-архитектуры. Традиционные системы не справляются с обработкой терабайтов данных и обучением моделей с миллиардами параметров. Давайте разберемся, какие именно требования к инфраструктуре появились с развитием ML и как инженеры решают эти задачи.

Хранение данных

Раньше компании обходились стандартными серверами и реляционными базами данных, но современные ML-проекты генерируют данные совершенно иного масштаба. Например, медицинская платформа для анализа снимков МРТ способна накапливать до 15 ТБ данных за год работы.

Традиционные хранилища не справляются с такими объемами по нескольким причинам:

• Они не рассчитаны на параллельную обработку терабайтов данных.
• Вертикальное масштабирование упирается в физические ограничения оборудования. Например, стандартный сервер поддерживает два процессора, 2 ТБ оперативной памяти и 12 дисков. Попытка добавить больше ресурсов приводит к превышению возможностей материнской платы, блока питания и корпуса.
• Стоимость хранения в традиционных СУБД становится непомерно высокой, когда речь идет о больших объемах данных.

Именно поэтому распределенные системы стали новым стандартом в ML-проектах. Среди них выделяются два инструмента: Hadoop и Amazon S3.

Платформа Hadoop обеспечивает параллельную обработку больших объемов данных через кластеры обычных серверов. Что касается хранения данных, Amazon S3 — это объектное «холодное» хранилище, которое может содержать данные любого типа в больших объемах и быстро предоставлять к ним доступ.

В EdgeЦентр доступно собственное объектное хранилище EdgeStorage® с аналогичными функциями и возможностями для работы с большими объемами данных.

Вычислительные ресурсы

Если раньше центральных процессоров (CPU) хватало для большинства задач, то сегодня обучение нейросетей невозможно без графических и тензорных процессоров.

Архитектура графических процессоров (GPU) оптимизирована для параллельных вычислений. GPU ускоряют матричные операции, которые составляют основу алгоритмов глубокого обучения.

Обучение модели компьютерного зрения на CPU может занять недели, тогда как с использованием современных GPU — часы или дни. Разница в производительности может достигать 100-кратного значения для определенных типов моделей. Например, обучение нейросети ResNet-50 на CPU Intel Xeon E5-2630 занимает 61 741 секунду, тогда как на GPU (NVIDIA TITAN X) — всего 602 секунды, что в 102 раза быстрее.

Для еще более специализированных задач появились тензорные процессоры (TPU), разработанные конкретно под фреймворки машинного обучения. Например, Google TPU v4 выдает производительность до 275 TFLOPS при энергопотреблении всего 200 Вт — это в 30–80 раз энергоэффективнее по сравнению с GPU. Однако TPU доступны не всем. В России их использование ограничено, так как с ними можно работать исключительно через Google Cloud Platform.

Чтобы управлять этими вычислительными ресурсами, нужны новые инструменты оркестрации. Для распределения рабочих нагрузок ML между узлами кластера используют Kubernetes, а для эффективной обработки данных в распределенной среде — Apache Spark.

Сетевая инфраструктура

Передача больших объемов данных между узлами в ML-проектах предъявляет повышенные требования к сетевой инфраструктуре. Традиционные сети на 1 Гбит/с стали узким местом для ML-систем, где требуется постоянно перемещать терабайты данных.

Современные ML-кластеры используют высокоскоростные соединения от 10 до 400 Гбит/с. Для крупных проектов необходимы специализированные решения вроде InfiniBand или RDMA (Remote Direct Memory Access), которые минимизируют задержки при передаче данных между GPU.

Сетевая инфраструктура для ML-проектов должна быть неблокирующей, то есть обеспечивать полную пропускную способность между всеми узлами одновременно. Это особенно важно при распределенном обучении моделей, когда десятки или сотни GPU постоянно синхронизируют свои вычисления.

Какое «железо» понадобится для глубокого обучения моделей

Графические процессоры (GPU) — стандарт для обучения нейросетей благодаря их способности выполнять тысячи параллельных вычислений. Вот ключевые характеристики, на которые стоит обращать внимание:

• Тензорные ядра. Это специализированные блоки для ускорения матричных операций. NVIDIA RTX 4090 имеет 512 тензорных ядер 4-го поколения, NVIDIA A100 — 432, а NVIDIA H100 — 456.
• Объем видеопамяти (VRAM). Определяет размер моделей, которые можно обучать. 8–12 ГБ хватит для небольших моделей и экспериментов, 24 ГБ достаточно для большинства задач, включая генерацию изображений. Память 48–80 ГБ нужна для крупных языковых моделей.
• Пропускная способность памяти. Она существенно влияет на скорость обучения моделей. Например, NVIDIA H100 имеет пропускную способность 2 ТБ/с, а RTX 4090 в два раза меньше — 1 ТБ/с. Однако нужно понимать, что, несмотря на двукратную разницу, такого же прироста в скорости обучения на H100 не будет, так как производительность зависит не только от пропускной способности, но и от других факторов, таких как архитектура GPU, объем памяти и оптимизация программного обеспечения.
• Вычислительная мощность. Измеряется в TFLOPS (терафлопс). RTX 4090 обеспечивает 82,58 TFLOPS для FP32, а NVIDIA H100 — 134 TFLOPS для FP32.

В таблице собрали несколько оптимальных моделей GPU для разных задач:

Помимо GPU, для построения эффективной системы глубокого обучения необходимы:

• Высокопроизводительный процессор для подготовки данных и координации работы GPU. Например, Intel Core i9 или AMD Ryzen 9/Threadripper.
• Минимум 32 ГБ для небольших проектов, 64–128 ГБ для серьезных задач. Оперативная память должна превышать объем памяти GPU, чтобы избежать подкачки данных на диск.
• Хранилище. NVMe SSD объемом от 1 ТБ для быстрого доступа к данным. Для больших наборов данных понадобится RAID из нескольких SSD или высокоскоростные сетевые хранилища.
• Система охлаждения. Для систем с несколькими GPU требуется эффективный отвод тепла.
• Блок питания. Мощность от 850 Вт для одного RTX 4090, от 1200 Вт для двух GPU и от 1600 Вт для четырех GPU.
• Программное обеспечение. CUDA Toolkit 11.x или выше, cuDNN 8.x или выше для NVIDIA GPU, ROCm для AMD GPU.

Для систем с несколькими GPU также важно обеспечить высокоскоростное соединение между ними. NVLink для NVIDIA GPU обеспечивает пропускную способность до 600 ГБ/с между GPU, что критически важно для распределенного обучения.

Какие инструменты использовать для разработки ML-решений на разных этапах

Проектировать инфраструктуру для машинного обучения нужно системно. Рассмотрим ключевые этапы, которые необходимо учесть при создании эффективной ML-инфраструктуры, а также примеры инструментов, которые пригодятся в разработке:

• Для работы с данными используется Apache Airflow — платформа с открытым исходным кодом, которая помогает автоматизировать пайплайны обработки данных, управлять зависимостями между задачами и обеспечивать их последовательное или параллельное выполнение.
• Для управления экспериментами подойдет MLflow — инструмент, с помощью которого можно отслеживать параметры, метрики и артефакты каждого запуска модели, что упрощает воспроизводимость и сравнение результатов.
• Для развертывания моделей используют TensorFlow Serving, TorchServe и NVIDIA Triton. Kubeflow Pipelines помогает автоматизировать рабочие процессы ML на Kubernetes, что упрощает переход от экспериментов к продакшену.
• Для мониторинга модели и инфраструктуры применяют связку Prometheus и Grafana. Эти инструменты собирают метрики производительности, визуализируют их на дашбордах и помогают своевременно выявлять проблемы, такие как дрейф данных или снижение качества предсказаний.

Нужно понимать, что у большинства предприятий уже есть системы, с которыми должны взаимодействовать ML-решения. Это создает дополнительный уровень сложности для проектировщиков. Вот три основные технологии, которые упрощают интеграцию:

API-ориентированная интеграция. API-шлюзы выступают в роли «переводчиков» между современными ML-моделями и legacy-системами. Они преобразуют запросы из форматов, таких как JSON, в устаревшие протоколы (например, XML или SOAP) и наоборот.

Микросервисная архитектура. ML-модели упаковываются в Docker-контейнеры и развертываются как независимые сервисы. Для управления такими сервисами используется Kubernetes, который автоматически масштабирует их под нагрузку и обеспечивает отказоустойчивость.

Асинхронная интеграция. Для взаимодействия быстрых ML-моделей с медленными legacy-системами применяются очереди сообщений. Эту задачу решает Apache Kafka. Модель отправляет результаты в очередь, а legacy-система обрабатывает их в своем темпе, что предотвращает перегрузки.

Как оптимизировать инфраструктуру для обучения больших моделей

При работе с большими моделями машинного обучения или огромными наборами данных часто возникает проблема: они не помещаются в память одного устройства. Приходится использовать несколько устройств одновременно, чтобы обработать данные или обучить модель, — этот подход называется распределенным обучением.

Существует несколько вариантов распределить задачи при обучении моделей:

• Data Parallelism (параллелизм данных). Самый простой подход, при котором одна и та же модель копируется на несколько устройств, но каждое устройство обрабатывает разные порции данных. После обработки своей части данных устройства синхронизируют градиенты для обучения единой модели. Инструменты вроде PyTorch DistributedDataParallel или Horovod делают этот процесс прозрачным для разработчика.
• Sharded Data Parallelism (фрагментированный параллелизм данных). При этом подходе между устройствами распределяются не только данные, но и состояние оптимизатора и градиенты — это экономит память. Такую технику реализуют библиотеки DeepSpeed и FairScale. Они позволяют обучать модели на таком объеме данных, который в несколько раз превышает память отдельного GPU.
• Model Parallelism (параллелизм модели). Подход, при котором сама модель разделяется между устройствами. Это особенно полезно для трансформеров и других архитектур с большим количеством параметров. Библиотека Megatron-LM от NVIDIA использует именно этот подход. С ее помощью можно обучать модели с триллионами параметров.

Чтобы работать с большими моделями, важно не только распределять вычисления, но и экономно хранить веса моделей. Например, можно использовать смешанную точность (mixed precision) — вместо 32-битных чисел брать 16-битные. Это уменьшает объем памяти вдвое — почти без снижения точности. Некоторые библиотеки, такие как bitsandbytes, идут дальше и используют 8-битные числа, что еще больше экономит память.

Как оптимизировать модели для продакшена

Обучение модели — лишь половина пути. Внедрение модели в производственную среду требует особого внимания к оптимизации для инференса (получения предсказаний). Задачи здесь иные: важна не скорость обучения, а низкая задержка, высокая пропускная способность и эффективное использование ресурсов. Есть две мощные техники оптимизации моделей:

Производительность также зависит от формата модели. Преобразование модели в оптимизированный формат, такой как ONNX или TensorRT, может значительно ускорить инференс. Эти форматы включают оптимизации на уровне графа вычислений, такие как слияние операций и устранение неиспользуемых вычислений, что особенно эффективно для сложных архитектур.

Что выбрать для разработки ML-модели: облачное решение или гибридную архитектуру

Выбор между облачной и локальной инфраструктурой для ML-проектов — это компромисс между гибкостью, стоимостью, безопасностью и операционными требованиями. Каждый подход имеет свои преимущества и недостатки.

Основное преимущество облака — масштабируемость и гибкость. Вы можете быстро нарастить ресурсы для обучения крупной модели, а затем сократить их, когда модель готова. Это особенно ценно для стартапов и компаний с переменной нагрузкой, где постоянные инвестиции в оборудование могут быть неоправданны.

Локальная инфраструктура дает полный контроль над данными и вычислениями — это важно для проектов, которые должны соответствовать высоким требованиям к безопасности или законодательству. Она также может обеспечить более низкую задержку для критичных приложений. Однако первоначальные инвестиции и затраты на обслуживание могут быть значительными.

Базовая стоимость одного сервера для работы с ИИ:

• Начальный уровень: от 300 000 ₽.
• Средний уровень: от 1 200 000 ₽.
• Высокий уровень: от 4 600 000 ₽.

Гибридная архитектура сочетает преимущества обоих подходов. Например, компания может часть компонентов или данных хранить на локальной инфраструктуре, а облачные вычисления использовать для высоконагруженных компонентов и больших данных. Либо работать с небольшим ML-проектом в локальной инфраструктуре и масштабироваться в облако для пиковых нагрузок или специализированных вычислений. Такой подход обеспечивает баланс между стоимостью, производительностью и гибкостью.

Главный принцип при создании ML-инфраструктуры — всегда проектировать с запасом. Если сегодня вам достаточно одного GPU для обучения моделей, завтра может потребоваться целый кластер. Именно поэтому для реализации ML-проектов всё чаще выбирают облачные решения. При выборе провайдера обращайте внимание не только на текущие предложения, но и на стратегию развития ML-сервисов.

Если вы планируете или уже применяете машинное обучение, EdgeЦентр поможет оптимизировать процесс и снизить затраты на проект. Оставьте заявку, и наши ИТ-архитекторы помогут спроектировать мощную и безотказную инфраструктуру.