Искусственный интеллект захватит власть на Земле?

Вывод исследования «Естественный отбор предпочитает людям искусственный интеллект» реально страшен. Ибо это написал не популярный фантазер типа Дэна Брауна, а Дэн Хендрикс — директор калифорнийского Центра безопасности ИИ (CAIS), некоммерческой организации, специализирующейся на исследовательской и научно-полевой работе в области безопасности ИИ.

Дэн Хендрикс — не маргинальный чудак, паникующий из-за прогресса ИИ. Это опытный и известный исследователь, опубликовавший десятки научных работ по оценке безопасности систем ИИ — проверке того, насколько они хороши в кодировании, рассуждениях, понимании законов и т. д. Среди прочего, он также, на минуточку, является соавтором линейных единиц измерения ошибки Гаусса (GELU).

Джек Кларк — сооснователь конкурента ChatGPT компании Anthropic, сопредседатель AI Index Стэнфордского универа, сопредседатель секции AI & Compute в OECD и член Национального консультационного комитета правительства США по ИИ — так пишет про вывод исследования Хендрикса: «Люди рефлекторно хотят отмахнуться от подобного утверждения, будто оно исходит от какого-то сумасшедшего с дикими взором, живущего в лесной хижине. Я хотел бы это заранее опровергнуть… Когда эксперт, имеющий опыт не только в исследованиях ИИ, но и в оценке безопасности систем ИИ, пишет документ, в котором утверждается, что будущие ИИ-системы могут действовать эгоистично и не в соответствии с интересами людей, мы должны относиться к этому с вниманием!»

Резюме вывода Хендрикса.

• Если ИИ-агенты будут обладать интеллектом, превосходящим человеческий, это может привести к тому, что человечество потеряет контроль над своим будущим.
• Подобное имеет немалые шансы произойти не в результате некоего особого злого умысла людей или машин, а исключительно в результате применимости к ИИ эволюционных принципов развития по дарвиновской логике.
• Дабы минимизировать риск этого, необходима тщательная разработка внутренних мотиваций агентов ИИ, введение ограничений на их действия и создание институтов, поощряющих в ИИ сотрудничество.

Грузить вас анализом совсем не простой 43-страничной научной работы не стану. Вот лишь самое, ИМХО, главное.

1. Мы боялись прихода Терминатора, но основания этих страхов были ошибочные. Ошибок было две:
a) антроморфизация ИИ с приписыванием ему нашей мотивации и т. д. (а как показал ChatGPT, ИИ — это принципиально иной разум со всеми вытекающими);
b) представление, что ИИ — это некая единая сущность: умная или не очень, добрая или не очень (а на самом деле этих самых разных ИИ-сущностей в мире скоро будет, как в Бразилии Педро).

2. Кроме того, был еще один принципиальный изъян в наших представлениях о будущем с ИИ: мы забыли про самый важный механизм развития — эволюцию (коей движимо развитие не только биоагентов, но и идей и смыслов, материальных инструментов и нематериальных институтов…)

3. На Земле уже начала складываться среда, в которой будут развиваться и эволюционировать множество ИИ. Эта эволюция пойдет по логике Дарвина, путем конкуренции ИИ между собой, с учетом интересов их «родительских» институтов: корпораций, военных и т. д.

4. Логика конкурентной эволюции приведет к тому же, что и у людей: все более разумные ИИ-агенты будут становиться все более эгоистичными и готовыми обманом и силой добиваться целей, главной из которых будет власть.

5. Естественный отбор ИИ-агентов ведет к тому, что более эгоистичные виды обычно имеют преимущество перед более альтруистичными. ИИ-агенты будут вести себя эгоистично и преследовать свои собственные интересы, мало заботясь о людях, что может привести к катастрофическим рискам для человечества.

Telegram-канал IT-эксперта Сергея Карелова «Малоизвестное интересное»