Хороший учитель должен не только знать правильный ответ, но и уметь объяснить его ученику. Исследователи Perplexity решили применить этот принцип к обучению нейросетей — и получили заметную экономию вычислений.
21 октября компания представила метод JOLT (Joint On-policy Learning and Teaching). В нём одна нейросеть одновременно обучается в двух ролях: учителя и ученика.
Учитель получает дополнительную информацию, например готовое решение математической задачи. Ученик должен справиться самостоятельно. При обычном подходе учитель может предложить решение, которое выглядит правильным, но ученику пока не по силам.
В JOLT обучают обе роли. Учитель получает обратную связь о собственных результатах и учится давать рекомендации с учётом возможностей ученика. А ученик получает подсказки на отдельных этапах решения, вместо того чтобы узнавать лишь в конце, справился он или нет.
Откуда взялась экономия в 13 раз
Исследователи сравнили JOLT с методом обучения GRPO на математическом наборе задач MATH.
При одинаковой точности ответов JOLT потребовал примерно в 13 раз меньше токенов генерации — то есть текста, который модели создавали в процессе обучения.
Но эта цифра не учитывает все вычисления. Если включить входные данные, подсказки учителя и дополнительные проходы обучения, преимущество сокращается до 6,5 раза по количеству обработанных токенов.
Следовательно, исследование пока не доказывает, что обучение любой нейросети с помощью JOLT обходится в 13 раз дешевле.
Авторы проверили метод и на других задачах: написании программ, использовании инструментов и управлении компьютерными агентами.
Улучшенная версия JOLT+ превзошла GRPO по результатам всех пяти основных испытаний. Например, на математическом тесте MATH прирост точности составил 4,2 процентного пункта, а на AppWorld, где агенты выполняют действия в приложениях, — 9,9 пункта.
При этом обычный JOLT без дополнительных наград для ученика показал результаты хуже GRPO на некоторых агентных задачах. Эффективность зависит от выбранной версии метода и характера испытания.
В экспериментах использовались открытые модели семейств Qwen и DeepSeek. Результаты не означают, что действующие продукты Perplexity уже работают по новой схеме или стали дешевле.
Научная работа появилась на arXiv 7 октября, а 21 октября Perplexity выпустила её подробный разбор. Авторы обещают опубликовать программный код, но пока доступно только исследование.
Разработчики получили ещё один способ сократить объём вычислений при обучении моделей. Теперь предстоит выяснить, насколько хорошо JOLT масштабируется на более крупные нейросети и реальные производственные нагрузки.