Канал Beating – новости об искусственном интеллекте. Нейронные сети содержат миллионы, а иногда и миллиарды параметров, и ранее их настройка в основном осуществлялась путем многократной итерации алгоритмов обучения. Однако, исследовательская группа из MIT обнаружила, что GPT-6 Astra уже способна напрямую анализировать и изменять эти числа, и даже создавать нейронные сети с нуля, без необходимости обучения.

Исследователи предоставили GPT-6 упрощенную версию игры "Арканоид", включающую правила, исходный код и нейронную сеть с весами, установленными в ноль. Они попросили GPT-6 самостоятельно заполнить параметры. При этом не предоставлялись данные для обучения и не разрешалось тестирование. GPT-6 самостоятельно рассчитала траекторию движения мяча и внесла логику управления платформой в веса нейронной сети. В результате, игра достигла результата в 517.4, что примерно в 20 раз превышает результат модели той же структуры, прошедшей 500 миллионов шагов обучения с подкреплением. Однако, в двух других играх GPT-6 не превзошла модель, прошедшую те же 500 миллионов шагов обучения.

Затем исследователи попросили GPT-6 напрямую изменить веса модели Ali Qwen3.5-0.8B. Без повторного обучения модели, изменив всего 0.016% параметров, GPT-6 повысила точность решения математических задач MATH-500 с 7.9% до 48.1%, а также увеличила показатель соответствия инструкциям почти в 3 раза.

Оказывается, Qwen часто попадала в бесконечные циклы размышлений, многократно выполняя вычисления, но не выдавая ответа. До внесения изменений, 93% ответов на математические тесты требовали использования 32768 токенов; после изменений это число снизилось до 33.1%. GPT-6, по сути, устранила проблему, мешавшую модели правильно отвечать на вопросы.

Однако, при использовании модели Gemma 3 270M с гораздо меньшим количеством параметров (всего 270 миллионов), GPT-6 не смогла существенно улучшить результаты в математике. Эта более компактная модель редко попадает в бесконечные циклы, и основная проблема заключается в том, что арифметические операции и логические вычисления изначально подвержены ошибкам, и их сложно исправить путем изменения небольшого количества весов.

Исследователи назвали этот метод прямого чтения и записи параметров "программированием в пространстве весов" (Weight-Space Programming).