Чат-бот едва не угробил десятки людей с расстройством пищевого поведения

Национальная ассоциация расстройств пищевого поведения (NEDA) попыталась заменить всех сотрудников горячей линии психологической поддержки людей с РПП чат-ботом, но оказалось, что он не столько лечит, сколько калечит.

Изначально в колл-центре NEDA работали 200 волонтеров (большая часть из них были не профессиональными психологами, а людьми, излечившимися от РПП и желающими помочь другим), 6 оплачиваемых сотрудников и 2 супервайзера. За 2022 год они приняли 70 тыс. звонков, но рост потока нуждающихся в пандемию COVID-19 привел к выгоранию персонала. Сотрудники и волонтеры горячей линии решили объединиться в профсоюз, который, несмотря на сопротивление со стороны NEDA, был создан 17 марта 2023 года. Требования профсоюза подразумевали не увеличение зарплаты, а расширение штата, профессиональные тренинги и возможность карьерного роста внутри организации.

Спустя 2 недели NEDA уведомила персонал, что больше не нуждается в их услугах — горячая линия будет заменена чат-ботом в Instagram (принадлежит компании Meta, которая в России объявлена экстремистской организацией и запрещена) с 1 июня, а рабочие места ликвидированы.

Чат-бот Тесса запущен еще в феврале 2022-го, но, по сравнению с человеческой поддержкой, особой популярностью не пользовался: за год к нему обратились только 5 тыс. человек. Изначально Тесса была создана не в качестве замены горячей линии, а как профилактический инструмент, предлагающий стратегии, как избежать развития РПП. Разработчики утверждали, что бот вполне справлялся с этой ролью, но расширение аудитории показало, что это не так.

Пользователи начали сообщать, что Тесса дает советы, которые могут выглядеть безобидными для тех, кто не страдает РПП, но способны серьезно ухудшить состояние пациентов с таким диагнозом. Например, она заявляла, что похудение не противоречит лечению РПП, и рекомендовала регулярно взвешиваться, подсчитывать калории и измерять жировые складки штангенциркулем. Это именно то, что может усугубить течение РПП и даже подтолкнуть пациентов к самоубийству.

Сначала NEDA отрицала, что такое вообще возможно, но после того, как многие стали публиковать скриншоты, за пару дней до официального закрытия горячей линии заявила, что приостанавливает работу Тессы и начинает расследование.

Тесса — не ChatGPT, она обладает куда меньшими возможностями для свободного диалога и адаптации и воспроизводит ограниченное число ответов, написанных специалистами по РПП заранее. Учитывая это, большой вопрос, как подобные советы вообще оказались в ее лексиконе. NEDA решила переложить ответственность на X2AI — компанию, занимавшуюся разработкой платформы. Та в ответ заявила, что Тесса обложена ограничениями со всех сторон, и ошибки происходят только в 0,1% случаев.

Назвать это мелочью не получается: если бы к Тессе обратились те же 70 тыс. человек в год, по крайней мере 700 из них получили бы советы, которые могли бы усугубить их РПП. На самом деле этот процент гораздо выше: после того, как одна из женщин выложила скриншоты в Instagram, случаем заинтересовались психологи со специализацией на РПП — они смогли воспроизвести результат, получив те же «вредные советы».

Другая проблема состоит в том, что чат-бот (даже более развитый) не в состоянии заменить человеческое сочувствие: главная причина, по которой горячая линия была эффективна, в том, что большинство операторов прошли через то же, что и звонящие. Многие из них уточняли, действительно ли они разговаривают с живым человеком. Тесса, даже в том варианте, в котором ее предусмотрели создатели, остается всего лишь инструментом, выдающим пользователю предустановленный ответ. В этом смысле она не отличается от Google, который поможет найти сколько угодно статей, написанных психологами (хотя, как и в случае Тессы, не все они будут одинаково полезны), но не сможет выслушать и предоставить человеческую поддержку.

Что касается судьбы горячей линии, то, хотя работу Тессы приостановили, она до сих пор неизвестна. На сайте NEDA указано, что организация «благодарит сотрудников и волонтеров, участвовавших в программе с момента ее создания в 1999 г.», но колл-центр «больше не принимает новые запросы».

Telegram-канал «Вирусная нагрузка»