22 октября iFLYTEK представила Spark X2.6 — новое семейство нейросетей и систему, в которой локальный и облачный ИИ распределяют работу между собой.
Простые поручения небольшая модель выполняет непосредственно на устройстве. Если задача оказывается слишком сложной, можно подключить более мощную облачную нейросеть. При выборе учитываются сложность задания, возможности локальной модели и требования к защите данных.
На презентации показали, как это работает с настоящей офисной задачей — проверкой договора.
Локальный ИИ определил, что без облачной помощи не обойтись, скрыл конфиденциальные сведения и запросил у пользователя разрешение отправить обезличенный текст на сервер.
Облачная модель проверила договор, привлекла внешнюю информацию и вернула результат. Затем программа восстановила скрытые данные уже на компьютере пользователя и подготовила Word-документ с замечаниями и исправлениями.
293 миллиарда параметров на китайских ускорителях
Большая Spark X2.6 использует архитектуру MoE: в ней 293 миллиарда параметров, но при обработке каждого фрагмента текста задействуется около 30 миллиардов. Такая конструкция позволяет не включать всю огромную модель для каждой операции.
Контекстное окно достигает миллиона токенов — модель рассчитана в том числе на обработку больших документов и продолжительных заданий.
Обучение проводилось на китайских вычислительных ускорителях, без зарубежных GPU. Для iFLYTEK это отдельное достижение: компания стремится развивать ИИ, не зависящий от поставок зарубежных видеокарт.
А для работы на собственном компьютере выпустили Spark X2.6-4B — компактную модель с четырьмя миллиардами параметров.
Она умеет писать код, пользоваться внешними инструментами, планировать последовательности действий и выполнять многоэтапные поручения. Разработчики также предусмотрели три режима рассуждений, чтобы можно было выбирать между скоростью ответа и глубиной обработки задачи.
Веса компактной модели открыли ещё 21 октября, за день до презентации. Она распространяется по лицензии Apache 2.0, доступна для скачивания через Hugging Face и запуска через Ollama, llama.cpp и другие инструменты.
Большая облачная Spark X2.6 остаётся закрытой.