Видеокарта выходит из строя посреди обучения нейросети. Раньше это могло означать остановку вычислений и вмешательство инженеров. Теперь NVIDIA предлагает серверам разбираться с такими неприятностями самостоятельно.
26 октября компания представила Mission Control 2.5
— обновление системы управления большими вычислительными кластерами.
Работает это так: если GPU начинает сбоить, система определяет проблемный сервер и исключает его из работы. Задание перезапускается на исправном оборудовании, а неисправный узел отправляется на диагностику.
Обучение может продолжиться с последней сохранённой контрольной точки, пока инженеры разбираются с поломкой. Ждать окончания ремонта не требуется.
Mission Control также различает аппаратные и программные ошибки. Если проблема вызвана временным сбоем программы, система может просто повторить выполнение задания, не отправляя исправный сервер на обслуживание.
Раньше такой механизм автоматического восстановления работал с системой управления заданиями Slurm. Теперь NVIDIA добавила поддержку Kubernetes и Run, которыми пользуются для распределения ИИ-нагрузки между серверами.
Для больших вычислительных центров это существенная экономия времени. Обучение крупных моделей может продолжаться неделями и задействовать тысячи дорогостоящих GPU. Простой даже части оборудования обходится недёшево.
Mission Control 2.5 уже доступна корпоративным клиентам NVIDIA на поддерживаемых системах. Вместе с ней компания развивает Minerva — отдельную систему мониторинга сетей и оборудования. Она пока распространяется только в ограниченной бета-версии.