Китайская DeepSeek открыла исходный код DeepInfer — системы, которая обеспечивает работу её нейросетей и помогает быстро обслуживать большое количество запросов.
Первые публичные коммиты появились на GitHub 20 октября 2026 года.
Проект распространяется под свободной лицензией Apache 2.0: другие разработчики могут использовать, изменять и распространять его код, в том числе в коммерческих продуктах.
DeepInfer отвечает за этап, который начинается после обучения нейросети. Когда пользователь отправляет вопрос, системе нужно распределить вычисления между ускорителями, обработать запрос и как можно быстрее сформировать ответ. Именно эту работу DeepSeek научилась оптимизировать в собственной инфраструктуре.
В опубликованном коде есть механизмы параллельных вычислений, ускоренной генерации текста и автоматического распределения нагрузки. Отдельные режимы позволяют получать воспроизводимые результаты даже при разном объединении запросов в группы — полезная возможность при тестировании и отладке моделей.
Пока DeepInfer поддерживает только DeepSeek-V4.1-Flash и два типа оборудования: ускорители NVIDIA архитектуры SM100 и Huawei Ascend 950. Для сборки необходим Linux и соответствующие инструменты разработки.
DeepSeek также опубликовала результаты собственных испытаний производительности. Тесты проводились на четырёх ускорителях NVIDIA SM100 при обработке входных данных и 64 — при генерации ответов. Независимого подтверждения преимуществ системы пока нет.
При этом компания открыла не всю инфраструктуру своего сервиса. В релизе отсутствуют система управления кешем KV — промежуточными результатами вычислений, — полноценное разделение этапов обработки и генерации, а также балансировка запросов между отдельными серверами.
Поэтому сейчас DeepInfer можно использовать для автономного запуска поддерживаемой модели, но для создания полноценного публичного ИИ-сервиса недостающие компоненты придётся разрабатывать самостоятельно.
DeepSeek прямо признаёт, что первоначально строила DeepInfer преимущественно на основе открытого проекта vLLM, а также использовала идеи SGLang и NVIDIA TensorRT-LLM.
Теперь часть собственных доработок китайская компания возвращает сообществу. Разработчики получили доступ к реальному вычислительному движку DeepSeek, хотя собрать из него точную копию работающего сервиса компании пока не получится.