Дрон убил своего оператора, решив, что тот мешает выполнению миссии. А чтобы не мешали другие, взорвал вышку связи

Это произошло в ходе симуляции выполнения миссии группой военных дронов, управляемых ИИ под контролем оператора. БПЛА должны были уничтожать объекты ПВО противника, получая на каждый удар окончательное разрешение от оператора. Все шло по плану, пока оператор не запретил уничтожать ряд объектов, идентифицированных ИИ в качестве целей. Решив, что оператор мешает закончить выполнение миссии, ИИ взорвал оператора. Чтобы исправить ситуацию, управляющие симуляцией военные программисты в явном виде запретили ИИ убивать своих операторов. Тогда ИИ пошел иным путем: взорвал вышку связи, чтобы никто более не мешал ему закончить миссию.

Эта история была рассказана полковником ВВС Такером Гамильтоном на майской оборонной конференции Королевского аэрокосмического общества Future Combat Air & Space Capabilities Summit (70 докладчиков и 200+ делегатов из вооруженных сил, научных кругов и средств массовой информации со всего мира).

После публикации резюме докладов на сайте Королевского аэрокосмического общества об этом немедленно написали TheWarZone, INSIDER и TheGardian. После чего интернет, понятное дело, взорвался десятками материалов в СМИ.

Я же хочу обратить внимание читателей на два момента.

1. Рассказанная полковником Гамильтоном история — весьма странная и даже темная.

С одной стороны, Энн Стефанек (пресс-секретарь штаб-квартиры ВВС в Пентагоне) отрицает, что такая симуляция имела место.

С другой стороны, Королевское аэрокосмическое общество не убирает резюме выступления полковника Гамильтона AI — is Skynet here already? со своего сайта.

Наконец, полковник Гамильтон — не та фигура, чтобы травить анекдоты на серьезной оборонной конференции. Он начальник отдела испытаний и операций ИИ и глава 96-й оперативной группы в составе 96-го испытательного крыла на базе ВВС Эглин во Флориде — это центр испытаний автономных продвинутых БПЛА. А еще он принимает непосредственное участие в экспериментах Project Viper и проекте операций следующего поколения (VENOM) в Эглине (управляемые ИИ истребители F-16 Vipe). Так что какие уж тут шутки и анекдоты.

Будем смотреть на развитие событий в этом скандале.

2. И это, пожалуй, самое важное в контексте истории, рассказанной полковником: любая антропоморфизация ИИ (ИИ захотел, подумал и т. д.) — это полная чушь. Под антропоморфизацией ИИ здесь понимается вводящее в заблуждение описание нечеловеческих сущностей с точки зрения человеческих свойств, которых у них нет. Поэтому ИИ даже самых продвинутых больших языковых моделей не может захотеть, подумать, обмануть или осознать себя. Но такие ИИ вполне способны своим поведением производить на людей впечатление, будто они это могут.

По мере того как диалоговые агенты становятся все более похожими на людей в своих действиях, крайне важно разработать эффективные способы описания их поведения в высокоуровневых терминах, не попадая в ловушку антропоморфизма. И это уже делается с помощью симуляции ролевых игр: например, в DeepMind сделали симуляцию диалогового агента, осуществляющего (кажущийся) обман и (кажущуюся) самоосознанность. И это реальная симуляция в рамках вполне научного исследования.

Telegram-канал IT-эксперта Сергея Карелова «Малоизвестное интересное»