NVIDIA представила Nemotron 3.5 Bolt 74B-A9B. Это модель для локальных ИИ-агентов, которую разработчики сумели сжать до 24 ГБ благодаря двухбитному представлению данных.
Из 74 миллиардов параметров при обработке каждого фрагмента текста используются примерно 9 миллиардов. Это позволяет сократить вычислительные затраты.
Почему интересно: достаточно мощные ИИ-агенты постепенно становятся доступными для запуска на собственном компьютере, без обязательного обращения к облачным сервисам.
Доступность: NVIDIA назначила выпуск на 15 октября и заявила поддержку Ollama, LM Studio, llama.cpp и других инструментов. Однако опубликованную сегодня модель для скачивания я пока не подтвердил, поэтому фактическую доступность ещё нужно проверить.