Люди так в принципе не могут: разработчики GPT не понимают, как модель смогла выучить китайский

Представьте ситуацию. Ваш ребенок отучился в английской школе, где:
— все предметы преподавались на английском;
— учителя говорили по-английски;
— среди 900 учащихся в школе был лишь 1 ученик — китаец, остальные же ученики и преподаватели китайского языка не знали.
Однако, окончив школу, ваш ребенок, помимо английского, еще бегло и со смыслом говорит по-китайски. Причем говорит лучше, чем любой выпускник китайской школы.

С людьми подобная история невозможна. А с нечеловеческим интеллектом больших языковых моделей наблюдается именно это. Что подтверждается скрупулезным тестированием SuperCLUE benchmark.

Итог тестирования поражает: общий балл GPT-4 по SuperCLUE (76,67) на 23 балла выше, чем у самой эффективной китайской модели SparkDesk от iFlytek 星火认知大模型, набравшей лишь 53,58 балла (включение в список тестируемых моделей модели Ernie от Baidu планируется, но предварительная оценка также сильно не в пользу Ernie).

Совершенно необъяснимым является тот факт, что:

• GPT порвал все китайские модели в тестах на понимание особенностей китайского языка — понимание китайских идиом, знание классической китайской литературы и поэзии, умение разбираться в тонкостях китайской иероглифики;
• но при этом китайскому языку GPT почти не учили (это «почти» заключается в том, что для обучения GPT3 был использован корпус из 181 млрд английских слов и лишь 190 млн китайских, что составляет 900-кратную разницу).

Как такое могло случиться, не понимают и сами разработчики GPT из OpenAI.

«Мы до сих пор этого не понимаем. И я бы очень хотел, чтобы кто-нибудь разобрался в этом», — пишет руководитель группы выравнивания ценностей людей и ИИ в OpenAI.

ИМХО, единственное объяснение этому — что GPT самостоятельно обобщил поставленную перед ним цель на новый контекст.

И если это так, то последствия могут быть довольно страшными. Ибо такое самостоятельное обобщение целей со стороны ИИ сулит человечеству не только приятные сюрпризы, как с китайским языком. Следующий сюрприз вполне может быть малоприятным для нас — как для отдельных людей, так и для всего человечества.

Telegram-канал IT-эксперта Сергея Карелова «Малоизвестное интересное»