680 токенов в секунду на одной NVIDIA GB300. Такую скорость показала Clover-35B-A3B-Preview — новая языковая модель от DiffuSpace, выпущенная 30 октября. Результат получен в собственных испытаниях команды на задачах ИИ-агентов.
Привычные языковые модели формируют ответ последовательно, токен за токеном. Clover работает сразу с целыми блоками текста: сначала заполняет их черновыми вариантами, затем постепенно уточняет результат. Такой подход называется диффузионной генерацией.
В основе модели — Qwen3.6-35B-A3B. Всего у Clover 35 миллиардов параметров, но при обработке каждого токена задействуется около трёх миллиардов. Разработчики сохранили способность модели рассуждать, писать программы и пользоваться инструментами.
На SWE-bench Verified Clover набрала 73,6 балла, а на Terminal-Bench 2.1 — 51,7. Это тесты, в которых ИИ решает реальные задачи программирования и работает в терминале. По результатам DiffuSpace, модель обошла несколько сопоставимых конкурентов, включая исходную Qwen3.6-35B-A3B.
Интереснее всего дела обстоят с домашним запуском.
Разработчики испытали Clover в 4-битном режиме на RTX 5070 Ti с 16 ГБ видеопамяти и получили 101,8 токена в секунду на наборе математических задач MATH-500.
Разумеется, это уже не серверные 680 токенов/с, а другая конфигурация и другая нагрузка.
Веса модели опубликованы на Hugging Face под лицензией Apache 2.0, исходный код — на GitHub. Поддерживаются инструменты SGLang и llama.cpp.
Правда, обычная версия BF16 требует примерно 69 ГБ памяти только для хранения весов. А самый компактный из опубликованных файлов GGUF занимает 18,24 ГиБ. Поэтому демонстрация на 16-гигабайтной видеокарте пока не равнозначна простому запуску любого доступного варианта модели на таком оборудовании.