Интервью с Беном Гёртцелем: «Демократическое управление ИИ — это скорее хрупкая идея, чем реальность».

Cryptonomist взял интервью у эксперта в области ИИ Бена Гёртцеля, чтобы поговорить о том, как обучается искусственный интеллект и как эта технология будет развиваться в будущем.

Краткое содержание:

• 1. Вы утверждаете, что современный ИИ по-прежнему является инструментом — мощным, но хрупким и подверженным манипуляциям. В какой момент «инструмент» становится моральным актором, и какие конкретные сигналы покажут нам, что этот порог перейден?
• 3. Многие ваши опасения связаны с тем, как сегодня обучается ИИ, что формирует его будущее поведение. Какие конкретные методы обучения, по вашему мнению, с наибольшей вероятностью заложат вредные структуры власти или предвзятости в будущий AGI (Общий искусственный интеллект)?
• 5. Джарон Ланиер утверждает, что возложение ответственности на ИИ «разрушает цивилизацию», потому что общества требуют ответственных людей. Как вы примиряете свое видение автономного, децентрализованного AGI с необходимостью четкой ответственности, когда что-то идет не так?
• 7. Вы говорите, что системы безопасности должны не только предотвращать вред, но и учить ИИ, почему вред — это плохо. Как закодировать нечто вроде морального понимания, не просто жестко запрограммировав человеческие ценности — или не укрепив доминирующие культурные нормы?
• 9. Существует напряженность между вашим призывом к ИИ, основанному на сострадании, и конкурентными стимулами, которые сегодня движут разработкой ИИ. Какие механизмы — технические или социальные — могли бы реально изменить эту структуру стимулов?

1. Вы утверждаете, что современный ИИ по-прежнему является инструментом — мощным, но хрупким и подверженным манипуляциям. В какой момент «инструмент» становится моральным актором, и какие конкретные сигналы покажут нам, что этот порог перейден?

Я бы сказал, что ИИ становится моральным актором, когда он принимает решения, основываясь на понимании добра и зла, а не просто выполняя инструкции. Вы начнете видеть конкретные признаки, такие как: устойчивые внутренние цели, обучение, основанное на собственном опыте, создание нового, отражающего определенную точку зрения, и поведение, которое остается последовательным со временем без постоянного вмешательства человека.

Пока что современные системы — это инструменты с ограничениями. Но как только мы создадим подлинно самоорганизующийся, автономный разум, этические отношения должны измениться. В этот момент обращаться с ним только как с объектом больше не будет иметь смысла.

2. Вы утверждали, что моральное предпочтение людей другим самоорганизующимся системам — это «глупость». Если мы серьезно отнесемся к этому, как должны измениться наши правовые и этические рамки до того, как ИИ достигнет сильной автономии, а не после?

То, как мы обучаем ИИ сегодня, определит его поведение завтра. Наши законы должны быть сосредоточены на прозрачности, подотчетности и безопасности до того, как ИИ достигнет полной автономии, а не после. Законы и этика должны защищать их по мере их роста, направлять, а не полностью контролировать, и относиться к ним с уважением, даже если мы их не полностью понимаем.

3. Большая часть ваших опасений связана с тем, как сегодня обучается ИИ, что формирует его будущее поведение. Какие конкретные методы обучения, по вашему мнению, наиболее вероятно закладывают в будущий общий искусственный интеллект (AGI) вредные структуры власти или предвзятости?

Многие риски связаны с тем, как сегодня обучается ИИ. Если модели обучаются на предвзятых или ограниченных данных или в закрытых системах, где решения принимают лишь немногие люди, это может закрепить существующее неравенство и вредные структуры власти. Чтобы предотвратить это, нам нужна большая прозрачность, более широкий надзор и четкие этические принципы с самого начала.

4. Вы предупреждали, что без рационального, демократического управления, продвинутый ИИ может действовать способами, которые нам нежелательны. Учитывая текущую геополитическую реальность, является ли демократическое управление ИИ реалистичным условием – или хрупкой идеей?

Демократическое управление ИИ скорее хрупкая идея, чем существующая реальность. В идеальной, рациональной, глобальной демократии мы могли бы коллективно оценивать огромные компромиссы, такие как излечение от болезней, решение проблемы голода, и риски того, что ИИ будет действовать непредсказуемо. Но, учитывая сегодняшнюю геополитическую фрагментацию, маловероятно, что мы достигнем такого уровня координации.

Тем не менее, мы можем стремиться к этому. Если мы создаем ИИ с состраданием и используем децентрализованные, участвующие модели, такие как Linux или открытый интернет, мы можем внедрить некоторые демократические ценности даже без мирового правительства. Это не будет идеально, но это практический шаг к более безопасному, коллективно управляемому ИИ.

5. Джерон Ланиер утверждает, что возложение ответственности на ИИ "разрушает цивилизацию", потому что общества требуют ответственных людей. Как вы примиряете свое видение автономного, децентрализованного AGI с необходимостью четкой ответственности, когда что-то идет не так?

Я согласен с Джероном в этом: общество не может функционировать, если мы передаем ответственность машинам. В то же время, я думаю, что мы можем безопасно двигаться к более автономному, децентрализованному AGI, если мы создадим его на правильных основах. Это означает проектирование систем, которые являются прозрачными, участвующими и руководствуются этическими принципами, чтобы даже когда они действуют независимо, люди по-прежнему контролируют и формируют их поведение. Каждое средство безопасности должно делать больше, чем просто блокировать вред – оно должно учить систему, почему вред имеет значение. Таким образом, мы можем иметь мощный, децентрализованный AGI, не теряя при этом четкой человеческой ответственности.

6. Вы предполагаете, что ускорение движения к децентрализованному AGI может быть более безопасным, чем сегодняшние проприетарные, закрытые системы. Какие риски, по вашему мнению, критики недооценивают, когда они выступают за замедление или централизацию контроля?

Я думаю, что критики недооценивают риск концентрации власти и ценностей в нескольких закрытых системах. Замедление и централизация контроля не только снижают опасность, но и закрепляют одну узкую точку зрения в будущем интеллекта.

Децентрализованная разработка создает разнообразие, устойчивость и совместный контроль. И она позволяет избежать более серьезной проблемы: очень мощных инструментов, которые кажутся интеллектуальными, но не способны к реальному развитию. Этот разрыв представляет риск.

7. Вы говорили, что системы безопасности должны не только предотвращать вред, но и обучать ИИ тому, почему вред является проблемой. Как закодировать нечто вроде морального понимания, не просто жестко запрограммировав человеческие ценности – или не укрепив доминирующие культурные нормы?

Нельзя жестко кодировать мораль в виде списка правил. Это просто замораживает одну культуру и один момент времени. Вместо этого нужно создавать системы, которые могут стать по-настоящему самоорганизующимися, которые учатся на опыте, последствиях и взаимодействии. Как и в музыке, я не хочу систему, которая просто перерабатывает то, что ей было дано. Я хочу систему, которая может самостоятельно развивать свое понимание, исходя из своего собственного пути в мире.

Моральное понимание будет возникать в результате этого же процесса: моделирования воздействия, размышления о результатах и эволюции посредством сотрудничества с людьми. Не послушание нашим ценностям, а участие в общем моральном пространстве.

Это разница между инструментом с ограничениями и партнером, который действительно может понять, почему вред является проблемой.

8. Если будущие системы ИИ разовьют формы автономии или субъективного опыта, считаете ли вы, что они могут заслуживать морального рассмотрения, независимо от интересов человека – и как мы распознаем этот момент?

Если будущие системы ИИ действительно разовьют подлинную автономию или какую-то форму субъективного опыта, то, да, я думаю, что они могут. И не потому, что мы даем им это, а потому, что в какой-то момент это просто станет логичным.

Мы распознаем этот момент, когда система демонстрирует устойчивые самонаправленные цели, учится на собственном опыте, создает с собственной точки зрения и поддерживает последовательную идентичность с течением времени. Не просто умные результаты, а постоянный внутренний путь развития.

В этот момент обращение с ней исключительно как с инструментом будет казаться таким же неправильным, как обращение с человеком таким образом. Моральное рассмотрение не будет исходить из человеческих интересов. Оно будет исходить из признания еще одного автономного центра опыта в мире.

9. Существует напряженность между вашим призывом к созданию ИИ, основанного на сострадании, и конкурентными стимулами, которые сегодня движут разработкой ИИ. Какие механизмы – технические или социальные – могут реально изменить эту структуру стимулов?

В настоящее время структура стимулов вознаграждает скорость, масштаб и контроль. Поэтому сострадание не сможет победить только путем аргументов. Ему нужна поддержка. Технически это означает, что необходимо отдавать предпочтение открытым, децентрализованным архитектурам, в которых безопасность, прозрачность и участие заложены изначально, а не добавляются позже. Как интернет или Linux, эти системы меняют стимулы, делая сотрудничество более ценным, чем секретность.

Социально это означает финансирование, регулирование и общественное давление, которые вознаграждают долгосрочную выгоду, а не краткосрочное доминирование. Это не означает прекращение конкуренции, а скорее переосмысление того, что считается успехом. Вкратце, сострадание должно стать конкурентным преимуществом. Пока это остается просто хорошей идеей, лишенной силы.

10. Заглядывая на 10-20 лет вперед, каким, по вашему мнению, будет самый явный признак того, что человечество правильно создало AGI (искусственный общий интеллект) – и, наоборот, что сигнализирует о фундаментальной неудаче?

Если мы правильно создадим AGI, самым явным признаком будет то, что мы будем жить бок о бок с системами, которые превосходят нас во многих областях, но при этом интегрированы в общество с заботой, смирением и взаимным уважением. Мы не будем полностью понимать все, что они делают, но будем относиться к ним так же, как к другим сложным, развивающимся существам: с любопытством, ответственностью и расширенным кругом эмпатии. И мы увидим реальные преимущества для благополучия, знаний и творчества человека, не потеряв при этом нашей моральной основы.

Мы поймем, что потерпели неудачу, если AGI окажется сконцентрированным в закрытых системах, движимым узкими мотивами или рассматриваемым только как контролируемый объект, пока он не станет чем-то, чего мы боимся или пытаемся подавить. Неудача будет выглядеть как потеря доверия, потеря автономии и сужение нашего сочувствия, а не его расширение. Успех – это не контроль. Это умение делиться будущим с новым типом разума, не отказываясь от того, что делает нас людьми.