Новость5 июля 2023, 15:40

«Думай как человек»: зачем искусственный интеллект учат имитировать мышление

Люди пытаются предотвратить преступления, которые ИИ может совершить против них.
Фото с сайта <a href="https://www.freepik.com/free-photo/programming-background-collage_34089166.htm">Image by Freepik</a> / «Думай как человек»: зачем искусственный интеллект учат имитировать мышление
© Фото с сайта Image by Freepik

Новый метод обучения ИИ — думать как люди и самому себя «выдергивать из розетки» при появлении опасных для людей мыслей.

Это открывает две важнейшие прорывные перспективы:
— качественный скачок в скорости и эффективности обучения ИИ;
— столь необходимая для широкого внедрения ИИ возможность профилактики и предотвращения преступлений ИИ (действий, способных принести людям зло).

Все сногсшибательные достижения ИИ больших языковых моделей (LLM) связаны с их сверхумением имитировать действия людей. Ибо именно действия людей (написанные ими разнообразные тексты от романов до монографий и от стихов до постов, нарисованные картинки, сделанные шахматные ходы или элементы выполнения задач в реальном мире) воплощены в оцифрованных данных, на которых учатся LLM.

Но у людей все несколько иначе. Люди еще и думают (мыслят), т. е. осуществляют процесс рассуждений, ведущий к тем или иным действиям (тексту, ходу в игре, действию в реальном мире и т. д.) Этот мыслительный процесс и обуславливает причины предпринимаемых действий.

Гипотеза авторов исследования «Клонирование мыслей: обучение мыслить в процессе действий, имитируя человеческое мышление» (University of British Columbia, Vector Institute и Canada CIFAR AI Chair) заключается в том, что если вы обучаете модель действиям и соответствующим им мыслям, то модель выучит правильные ассоциации между поведением и целями. Кроме того, модель сможет генерировать и сообщать причины своих действий.

Чтобы достичь клонирования мыслей в моделях машинного обучения, авторы разработали метод предоставления модели нескольких потоков информации. Один из них — наблюдение за действиями, такими как ходы, которые игрок выполняет в игре. Второй — это поток мыслей, в том числе объясняющих действия.

Например, в стратегической игре в реальном времени ИИ наблюдает, как игрок переместил несколько юнитов перед мостом. При этом он получает текстовое пояснение, в котором говорится что-то вроде «не допустить пересечения моста силами противника».

В рамках обучения клонированию мыслей агенты учатся воспроизводить мысли на естественном языке на каждом временном шаге и впоследствии обусловливают свои действия на основе этих сгенерированных мыслей. И мысли, и действия изучаются в процессе предварительного обучения посредством имитации обучения человеческим данным.

Вот видео элементарного игрового примера, как это может происходить.

Клонирование мыслей также способствует безопасности ИИ. Поскольку мы можем наблюдать за мыслями агента, мы можем: (1) легче диагностировать, почему что-то идет не так, (2) направлять агента, корректируя его мышление, или (3) предотвращать выполнение им небезопасных действий, которые он планирует делать.

Этот раздел методики авторы назвали «Вмешательство до преступления» — некий ИИ-аналог системы из культового фильма «Особое мнение». Он позволяет останавливать ИИ-агента при обнаружении у него опасных мыслей.

Подробней о реализации метода клонирования мыслей см. здесь:
— популярно;
— препринт исследования.
А здесь результаты на GitHub, включая веса модели, код для обучения модели и код для генерации данных для обучения и тестирования.

Источник — Telegram-канал IT-эксперта Сергея Карелова «Малоизвестное интересное»

Информация об авторе
Сергей Карелов
Сергей Карелов
IT-эксперт

Кандидат технических наук, Председатель Лиги независимых ИТ-экспертов ЛИНЭКС и создатель стартапа Witology — проекта, работающего в области коллективного Подробнее...

Далее: Новая угроза человечеству — ксеноботы, способные размножаться самостоятельно

Понравился этот пост? Подпишись на рассылку

(Всего одно письмо в неделю, чтобы ничего не пропустить)