AWS научила искусственный интеллект играть в Wordle для сложного обучения

Обучение нейросетей обычно сводится к тому, чтобы выдать правильный ответ на один конкретный вопрос. Однако реальные задачи для ИИ-агентов устроены иначе: им приходится совершать целую цепочку последовательных действий, где каждый следующий шаг зависит от предыдущего. Обычное обучение с учителем здесь мало помогает, так как для длинных цепочек просто нет разметки, а классическое обучение с подкреплением не может вовремя оценить решение, принятое за несколько шагов до результата. Подразделение Amazon Web Services предложило обучать модели с помощью многошагового подхода на базе сервиса SageMaker AI.

В качестве наглядного примера инженеры выбрали известную игру Wordle, в которой нужно за шесть попыток угадать загаданное слово из пяти букв. После каждой попытки игра подсвечивает буквы зелёным, жёлтым или серым цветом в зависимости от их наличия в загаданном слове. Такой процесс отлично подходит для многошагового обучения с подкреплением: правила здесь простые, каждая новая догадка опирается на предыдущую подсказку, а результат оценивается вполне объективно. Разработчики отмечают, что на практике этот метод можно применять для настройки небольших и недорогих моделей под специфические внутренние рабочие процессы компаний.

Во время испытаний исследователи использовали модель GPT-OSS-20B, которая после обучения показала рост успешных отгадываний на тестовых словах. Сами наборы данных, размещенные агенты и готовая модель остаются внутри аккаунта AWS пользователя и не используются для дообучения базовых версий. Вся необходимая инфраструктура разворачивается автоматически в серверном режиме, а стоимость вычислений зависит от объема обработанных токенов.