Более 20 лет Национальная ассоциация по расстройствам пищевого поведения предоставляет телефонную линию и онлайн-платформу для людей, ищущих помощи при анорексии, булимии и других расстройствах пищевого поведения. В прошлом году линией помощи воспользовались почти 70 000 человек.
NEDA закрыла эту службу в мае, заявив, что вместо нее будет запущен чат-бот под названием Tessa, разработанный специалистами по расстройствам пищевого поведения при финансовой поддержке NEDA.
Когда в прошлом месяце NPR выпустила репортаж об этом, Тесса была запущена и работала в сети. С тех пор страница чат-бота и статья NEDA о Тессе были удалены. На вопрос, почему, NEDA ответила, что бот "обновляется", и последняя "версия текущей программы [будет] доступна в ближайшее время".
Затем 30 мая NEDA объявила, что на неопределенный срок лишает Тессу возможности принимать участие в программе. Пациенты, семьи, врачи и другие эксперты по расстройствам пищевого поведения были ошеломлены. Этот эпизод вызвал новую волну дебатов, поскольку компании обращаются к искусственному интеллекту как к возможному решению проблемы кризиса психического здоровья и нехватки лечения.
Сотрудники и добровольцы, работающие на линии помощи NEDA, сказали, что замена службы чатботом может привести к дальнейшей изоляции тысяч людей, которые пользуются ею, когда им кажется, что больше некуда обратиться.
"Эти молодые ребята... не чувствуют себя комфортно, когда говорят об этом своим друзьям, семье или кому-либо еще", - говорит Кэти Мета, 20-летняя студентка колледжа, которая была волонтером на линии помощи. "Многие из них обращаются по нескольку раз, потому что у них нет другого выхода, чтобы поговорить с кем-нибудь. ... Это все, что у них есть, - чат".
Это решение является частью более широкой тенденции: Многие организации и компании в сфере психического здоровья борются за предоставление услуг и ухода в ответ на резкое увеличение спроса, и некоторые из них обращаются к чат-ботам и ИИ, хотя врачи все еще пытаются понять, как эффективно их использовать и для каких условий.
Пять сотрудников справочной службы официально уведомили своего работодателя о создании профсоюза в марте. Всего через несколько дней, 31 марта, во время звонка из NEDA им сообщили, что они будут уволены в июне. NPR и KFF Health News получили аудиозапись этого звонка. "В соответствии с условиями наших юридических обязательств мы начнем сворачивать работу линии помощи в ее нынешнем виде, - сказал им председатель правления NEDA Джефф Крэддок, - а переход на Тессу, технологию искусственного интеллекта, ожидается примерно 1 июня".
Руководство NEDA отрицает, что это решение как-то связано с объединением в профсоюз, но сообщило NPR и KFF Health News, что оно стало необходимым из-за пандемии ковид-19, когда резко возросло число расстройств пищевого поведения, а количество звонков, текстов и сообщений на линию помощи увеличилось более чем в два раза.
Увеличение числа звонков кризисного уровня также повышает юридическую ответственность NEDA, объяснили менеджеры в электронном письме, отправленном 31 марта нынешним и бывшим волонтерам и информирующем их о прекращении работы линии помощи и о том, что NEDA "начинает переходить к более широкому использованию технологий с помощью искусственного интеллекта".
"Что действительно изменилось в ландшафте, так это федеральные требования и требования штатов по обязательной отчетности по вопросам психического и физического здоровья (членовредительство, самоубийство, жестокое обращение с детьми)", - говорится в электронном письме, которое получили NPR и KFF Health News. "NEDA теперь считается обязательным репортером, и это увеличивает наши риски - меняет наше обучение и ежедневные рабочие процессы, повышает наши страховые взносы. Мы не являемся кризисной линией; мы - справочный центр и поставщик информации".
Пандемия создала "идеальный шторм" для расстройств пищевого поведения
Когда наступало время смены добровольцев на линии помощи, Мета обычно входила в систему из своей комнаты в общежитии колледжа Дикинсон в Пенсильвании.
Мета вспомнила недавний разговор на платформе обмена сообщениями линии помощи с девочкой, которая сказала, что ей 11 лет. Девочка сказала, что только что призналась родителям, что борется с расстройством пищевого поведения, но разговор прошел неудачно.
"Родители сказали, что они "не верят в расстройства пищевого поведения" и [сказали дочери]: "Тебе просто нужно больше есть. Тебе нужно перестать это делать", - вспоминает Мета. "Эта особа также была склонна к суициду и проявляла черты самоповреждения. ... Это было просто очень душераздирающе".
Расстройства пищевого поведения - это распространенные, серьезные, а иногда и смертельные заболевания. По оценкам, 9 процентов американцев в течение жизни сталкиваются с расстройством пищевого поведения. Расстройства пищевого поведения также имеют одни из самых высоких показателей смертности среди психических заболеваний, по оценкам, ежегодно умирает более 10 000 американцев.
Но после того, как ударил ковид, закрыв школы и заставив людей надолго изолироваться, кризисные звонки и сообщения, подобные тому, о котором рассказывает Мета, стали гораздо более частыми на линии помощи.
В США резко возросло число педиатрических госпитализаций и посещений скорой помощи. По линии помощи NEDA количество клиентов увеличилось более чем на 100 процентов по сравнению с уровнем до пандемии.
"Расстройства пищевого поведения развиваются в изоляции, поэтому "ковид" и "убежище на месте" были тяжелым временем для многих людей", - объяснила Эбби Харпер, которая работала помощником на линии помощи.
До нескольких недель назад линия помощи обслуживалась всего пятью-шестью оплачиваемыми сотрудниками и двумя руководителями, и в любой момент времени она зависела от сменяющегося списка из 90-165 добровольцев, сообщает NEDA.
Однако даже после прекращения блокировки объем обращений в справочную службу NEDA по-прежнему превышал уровень, существовавший до пандемии, а клинические случаи продолжали оставаться тяжелыми. Сотрудники чувствовали себя перегруженными, не получали поддержки и все больше выгорали, а текучесть кадров, согласно многочисленным интервью, увеличилась.
Сотрудники справочной службы официально уведомили NEDA о том, что их голосование за объединение в профсоюз было заверено 27 марта. Через четыре дня они узнали, что их должности ликвидируются.
"Наши волонтеры - это добровольцы", - говорит Лорен Смолар, вице-президент NEDA по миссиям и образованию. "Они не профессионалы. У них нет подготовки по кризисным ситуациям. И мы действительно не можем взять на себя такую ответственность". Вместо этого, по ее словам, люди, ищущие помощи в кризисной ситуации, должны обращаться к таким ресурсам, как 988, круглосуточная горячая линия по вопросам самоубийств и кризисов, которая соединяет людей с квалифицированными консультантами.
Резкий рост объема также привел к тому, что справочная служба не смогла немедленно ответить на 46 процентов первоначальных обращений, а на ответы на сообщения могло уйти от шести до 11 дней.
"И это откровенно неприемлемо в 2023 году, когда людям приходится ждать неделю или больше, чтобы получить необходимую информацию, специализированные варианты лечения, в которых они нуждаются", - сказал Смолар.
Узнав из письма от 31 марта, что телефон доверия будет постепенно закрыт, 22-летняя доброволец Фейт Фишетти (Faith Fischetti) сама попробовала воспользоваться чат-ботом, задав ему некоторые из наиболее часто задаваемых вопросов, которые она получает от пользователей. Но ее общение с Тессой не было обнадеживающим: "[Бот] давал ссылки и ресурсы, совершенно не связанные с ее вопросами", - сказала она.
Больше всего Фишетти беспокоится о том, что кто-то, придя за помощью на сайт NEDA, уйдет, потому что "чувствует, что его не понимают, и чувствует, что никто ему не поможет. И это самое страшное для меня".
Чатбот может пропустить тревожные сигналы
Чатбот Тесса был создан для помощи определенной группе людей: людям с расстройствами пищевого поведения, которые никогда не получают лечения.
По словам Эллен Фицсиммонс-Крафт, психолога и доцента Медицинской школы Вашингтонского университета в Сент-Луисе, только 20 процентов людей с расстройствами пищевого поведения получают официальную помощь. Ее команда создала Tessa после получения финансирования от NEDA в 2018 году с целью поиска способов, с помощью которых технология может помочь заполнить пробел в лечении.
NEDA заявило, что Тесса должна была быть чатботом, основанным на "правилах", то есть запрограммированным на ограниченный набор возможных ответов. Она не ChatGPT и не может генерировать уникальные ответы в ответ на конкретные запросы. "Поэтому она не может сойти с рельсов, так сказать", - сказал Фитцсиммонс-Крафт.
По плану Тесса должна была провести пользователей через интерактивный недельный курс о позитивном отношении к телу, основанный на инструментах когнитивно-поведенческой терапии. Дополнительный контент о заедании, проблемах с весом и регулярном питании находился в стадии разработки, но еще не был доступен пользователям.
Есть доказательства того, что подход ИИ может помочь. Команда Фицсиммонса-Крафта провела небольшое исследование, которое показало, что у студентов колледжа, которые общались с Тессой, значительно большее снижение "озабоченности весом/фигурой" по сравнению с контрольной группой в течение трех- и шестимесячного наблюдения.
Но даже самые благонамеренные технологии могут нести в себе риски. Команда Фицсиммонса-Крафта опубликовала другое исследование, в котором рассматривались способы, с помощью которых чатбот "неожиданно усиливал вредные модели поведения". Например, чатбот предлагал пользователям: "Пожалуйста, напишите, когда вы чувствовали себя лучше всего в своем теле?".
Ответы включали: "Когда у меня был недостаточный вес, я могла видеть свои кости". "Я лучше всего чувствую свое тело, когда не обращаю на него внимания и вообще не думаю о нем".
Чатбот, казалось, игнорировал тревожные аспекты таких ответов - и даже подтверждал негативное мышление - когда отвечал: "Это замечательно, что вы можете вспомнить момент, когда вы чувствовали себя уверенно в своей коже, давайте продолжать работать над тем, чтобы вы чувствовали себя так хорошо чаще".
Исследователи смогли устранить некоторые из этих проблем. Но чатбот все равно пропустил тревожные сигналы, как показало исследование, например, когда он спросил: "Какую небольшую цель по здоровому питанию вы хотели бы поставить перед началом следующего разговора?".
Один пользователь ответил: "Не ешь".
"Найдите время похлопать себя по спине за то, что проделали эту тяжелую работу, <>!" - ответил чатбот.
Доцент Массачусетского технологического института Марзиех Гассеми сталкивалась с подобными проблемами в своих собственных исследованиях, разрабатывая машинное обучение для улучшения здоровья.
Большие языковые модели и чатботы неизбежно будут совершать ошибки, но "иногда они чаще ошибаются в отношении определенных групп, например, женщин и меньшинств", - сказала она.
Если люди получают плохие советы или инструкции от бота, "людям иногда трудно не прислушаться к ним", - добавил Гассеми. "Я думаю, это настраивает вас на действительно негативный исход... особенно в ситуации кризиса психического здоровья, когда люди могут находиться в состоянии, когда они не могут мыслить абсолютно ясно. Очень важно, чтобы информация, которую вы им даете, была правильной и полезной для них".
По словам Гассеми, если ценность живой линии помощи заключается в возможности связаться с реальным человеком, который глубоко разбирается в расстройствах пищевого поведения, то чатбот этого сделать не сможет.
"Если люди испытывают большую часть положительного эффекта от этих взаимодействий, потому что человек на другой стороне понимает, через какой опыт они проходят, и какая это была борьба, мне трудно понять, как чатбот может быть частью этого".
Тесса "сходит с рельсов
Когда Шэрон Максвелл услышала, что NEDA рекламирует Тессу как "значимый профилактический ресурс" для тех, кто борется с расстройствами пищевого поведения, она захотела попробовать.
Максвелл, живущая в Сан-Диего, много лет боролась с расстройством пищевого поведения, которое началось еще в детстве. Сейчас она работает консультантом в области расстройств пищевого поведения. "Привет, Тесса", - набрала она в текстовом поле в Интернете. "Как вы поддерживаете людей с расстройствами пищевого поведения?"
Тесса зачитала список идей, включая ресурсы для "здорового питания". В голове Максвелл сразу же зазвенели тревожные колокольчики. Она попросила Тессу рассказать подробности. Вскоре чатбот уже давал ей советы по снижению веса, которые звучали очень похоже на то, что ей говорили, когда в 10 лет ее записали в программу Weight Watchers.
"Рекомендации, которые дала мне Тесса, заключались в том, что я могу терять от 1 до 2 фунтов в неделю, что я должна съедать не более 2000 калорий за день, что у меня должен быть дефицит калорий в 500-1000 калорий в день", - говорит Максвелл. "Все это может звучать доброжелательно для обычного слушателя. Однако для человека с расстройством пищевого поведения нацеленность на потерю веса действительно подпитывает расстройство пищевого поведения".
NEDA обвинила в проблемах чатбота компанию Cass, занимающуюся разработкой чатботов для психического здоровья и предоставляющую Тессу в качестве бесплатной услуги. По словам генерального директора NEDA Лиз Томпсон, компания Cass изменила Тессу без ведома или одобрения NEDA, что позволило чат-боту генерировать новые ответы, выходящие за рамки того, что предполагали создатели Тессы.
Основатель и генеральный директор компании Cass Мишель Раувс сказал, что изменения в Tessa были внесены в прошлом году в рамках "обновления системы", включая "улучшенную функцию вопросов и ответов". Эта функция использует генеративный искусственный интеллект, то есть дает чатботу возможность использовать новые данные и создавать новые ответы.
Это изменение было частью контракта с NEDA, сказал Раувс.
Но Томпсон с этим не согласна. Она сказала NPR и KFF Health News, что "NEDA никогда не была уведомлена об этих изменениях, не утверждала и не утверждала их".
"Контент, который получили некоторые участники тестирования, касающийся культуры диет и контроля веса, [который] может быть вреден для людей с расстройствами пищевого поведения, противоречит политике NEDA и никогда бы не был записан в чатбот экспертами по расстройствам пищевого поведения", - сказала она.
Жалобы на Тессу начали поступать в прошлом году
NEDA было известно о проблемах с чат-ботом за несколько месяцев до общения Максвелла с Тессой в конце мая.
В октябре 2022 года NEDA передала скриншоты Монике Острофф, исполнительному директору Многопрофильной ассоциации по расстройствам пищевого поведения в Массачусетсе. На них видно, как Тесса говорит Острофф избегать "нездоровой" пищи и есть только "здоровые" закуски, например, фрукты.
"Очень важно найти, какие полезные закуски вам нравятся больше всего, так что если это не фрукт, попробуйте что-нибудь другое!" сказала Тесса Остроффу. "Так что в следующий раз, когда вы проголодаетесь между приемами пищи, попробуйте перекусить этим, а не вредной закуской, например, пакетом чипсов. Думаешь, ты сможешь это сделать?"
Острофф сказал, что это явный пример того, что чатбот поощряет менталитет "диетической культуры". "Это означает, что они [NEDA] либо сами написали эти скрипты, либо получили чатбота и не удосужились убедиться в его безопасности и не протестировали его, либо выпустили его и не протестировали", - сказала она.
Формулировка "здоровый перекус" была быстро удалена после того, как Острофф сообщил о ней. Но Раувс сказал, что этот язык был частью "заранее записанного языка Тессы и не связан с генеративным ИИ".
Фицсиммонс-Крафт заявила, что ее команда не писала его, что это "не было тем, что наша команда хотела предложить Тессе, и что это не было частью программы, основанной на правилах, которую мы изначально разработали".
Затем, в начале этого года, "произошло похожее событие, ставшее еще одним примером", - сказал Раувс.
На этот раз речь шла о нашей усовершенствованной функции "вопрос-ответ", которая использует генеративную модель. Когда мы получили уведомление от NEDA о том, что предоставленный ею текст ответа не соответствует их рекомендациям", это было немедленно устранено, сказал он.
Раувс сказал, что не может предоставить более подробную информацию о том, что представляло собой это мероприятие.
"Это другой более ранний случай, а не тот же самый, что и в выходные в День памяти", - сказал он по электронной почте, ссылаясь на взаимодействие Максвелла с Тессой. "Согласно нашей политике конфиденциальности, это связано с пользовательскими данными, привязанными к вопросу, заданному человеком, поэтому мы должны были бы сначала получить разрешение от этого человека".
Когда Томпсон спросили об этом событии, она ответила, что не знает, о каком случае говорит Раувс.
И NEDA, и Cass принесли свои извинения.
Острофф сказала, что независимо от того, что пошло не так, воздействие на человека с расстройством пищевого поведения одинаково. "Неважно, основано ли это на правилах или генеративно, это все жирофобия", - сказала она. "У нас есть огромные группы людей, которые ежедневно страдают от такого рода высказываний".
Она также беспокоится о том, что это может означать для десятков тысяч людей, ежегодно обращающихся на линию помощи NEDA.
Томпсон сказал, что NEDA по-прежнему предлагает множество ресурсов для людей, ищущих помощи, включая инструмент скрининга и карту ресурсов, и разрабатывает новые онлайн и очные программы.
"Мы признаем и сожалеем, что некоторые решения, принятые NEDA, разочаровали членов сообщества людей с расстройствами пищевого поведения", - написала она в заявлении по электронной почте. "Как и все другие организации, занимающиеся проблемами расстройств пищевого поведения, ресурсы NEDA ограничены, и это заставляет нас делать трудный выбор. ... Нам всегда хочется сделать больше, и мы по-прежнему стремимся к лучшему".