NVIDIA выпустила инструмент для поиска сбоев в распределенном ИИ

Когда в масштабном дата-центре одновременно работают сотни тысяч видеокарт, любая небольшая неполадка в сети или кабеле может вызвать целую лавину ошибок. Программы начинают выдавать сбои, диспетчеры задач фиксируют аварийные остановки, а инженеры тратят часы на поиски первопричины. При этом сообщение об ошибке обычно показывает лишь то место, где процесс остановился, но не то, где именно произошел сбой. Компания NVIDIA представила открытую систему NVIDIA Attribution, которая помогает автоматически распутывать такие цепочки неполадок на собственных кластерах компании.

Новый инструмент собирает и сопоставляет рабочие логи, показатели телеметрии, системные сообщения и состояние диспетчеров задач. В основе системы лежат два компонента: Attribution Service, предоставляющий REST API для движка диагностики, и Attribution Blueprint — эталонный оркестратор на языке Python, который подключается к планировщикам задач и источникам данных. По умолчанию Blueprint поддерживает такие диспетчеры, как Slurm и Kueue, а также собирает логи из Kubernetes и метрики через PromQL.

По словам разработчиков, система анализирует миллионы рабочих заданий еженедельно на огромных массивах оборудования и уже помогла выявить скрытые проблемы с пропускной способностью портов в крупных RDMA-кластерах. Процесс диагностики строится в четыре этапа: сначала система выделяет конкретную задачу, затем собирает наблюдения из логов и драйверов, после чего с помощью детерминированных правил находит истинную причину сбоя и отделяет ее от второстепенных симптомов.