Популярная служба охраны психического здоровья молодежи столкнулась с негативной реакцией после эксперимента с советами ИИ-чатбота

Компания Koko предоставляет онлайновые услуги по охране психического здоровья, часто молодым пользователям, и недавно протестировала ответы чатбота с искусственным интеллектом в неясных обстоятельствах.

Отредактировано 2023-25-06
Женщина пользуется мобильным телефоном городской пейзаж на фоне ночного освещенияОнлайновая служба психического здоровья Koko попала под горячую руку из-за использования GPT-3.

Бесплатная служба психического здоровья, предлагающая онлайн-сообществам сеть взаимной поддержки в чате, оказалась под пристальным вниманием после того, как ее соучредитель рассказал, что компания недолго экспериментировала с использованием чат-бота с искусственным интеллектом для генерирования ответов без уведомления получателей. Хотя после этого компания попыталась преуменьшить значение проекта и подчеркнуть недостатки программы, критики и пользователи выражают глубокую озабоченность по поводу медицинской этики, конфиденциальности и шумного, противоречивого мира программного обеспечения ИИ-чатботов.

Как сообщает во вторник New Scientist, компания Koko была основана примерно семь лет назад выпускником Массачусетского технологического института Робом Моррисом, на официальном сайте которого сервис рекламируется как новый подход к тому, чтобы сделать онлайновую поддержку психического здоровья "доступной для всех". Одна из его основных услуг позволяет клиентам, например, платформам социальных сетей, устанавливать программное обеспечение для маркировки ключевых слов, которое затем может соединять пользователей с ресурсами по психологии, включая чат-порталы с людьми. Компания Koko считается особенно полезной для молодых пользователей социальных сетей.

Однако в прошлую пятницу Моррис написал в Твиттере, что примерно 4000 пользователей "получили поддержку в области психического здоровья... с помощью GPT-3" - популярной программы чат-бота с искусственным интеллектом, разработанной компанией OpenAI. Хотя пользователи не общались с GPT-3 напрямую, была разработана система "второго пилота", чтобы сотрудники службы поддержки просматривали предложенные ИИ ответы и использовали их по своему усмотрению. Как отмечает New Scientist, не похоже, что пользователи Koko получили какое-либо предварительное предупреждение, информирующее их о том, что их поддержка в области психического здоровья, по крайней мере частично, может быть оказана чат-ботом.

В своем Твиттере Моррис объяснил, что, хотя аудитория оценила соавторские ответы ИИ "значительно выше", чем ответы только человека, они решили быстро свернуть программу, заявив, что как только люди узнали об искусственном происхождении сообщений, "это не сработало".

"Симулированная эмпатия кажется странной, пустой", - написал Моррис. Тем не менее, он выразил оптимизм по поводу потенциальной роли ИИ в сфере психического здоровья, ссылаясь на предыдущие проекты, такие как Woebot, который с самого начала предупреждает пользователей о том, что они будут общаться с чат-ботом.

Последовавший за этим осадок от описания Моррисом проекта "Коко" вызвал почти мгновенную реакцию в Интернете, что заставило Морриса выпустить многочисленные разъяснения относительно "неправильных представлений", связанных с экспериментом. "Мы не подбирали людей для общения с GPT-3 без их ведома. (Оглядываясь назад, я мог бы сформулировать свой первый твит так, чтобы лучше отразить это)", - написал он в прошлую субботу, добавив, что функция была "по желанию", пока она была доступна.

"Очевидно, что создание контента с помощью ИИ не пройдет бесследно, но сейчас оно развивается так быстро, что люди не задумываются критически о том, как лучше его использовать", - написала PopSci Кейтлин Сили, директор кампании группы по защите цифровых прав Fight for the Future. "Прозрачность должна быть частью использования ИИ - люди должны знать, было ли то, что они читают или смотрят, создано человеком или компьютером, и мы должны иметь больше информации о том, как обучаются программы ИИ".

Сили добавил, что такие сервисы, как Koko, должны "вдумчиво" относиться к услугам, которые они стремятся предоставить, а также сохранять критическое отношение к роли ИИ в этих услугах. "Остается еще много вопросов о том, как этично использовать ИИ, но любая компания, рассматривающая такую возможность, должна задать эти вопросы до того, как начнет использовать ИИ".

Моррис, похоже, услышал критиков, хотя остается неясным, что будет дальше с компанией и любыми будущими планами в отношении ИИ в чатах. "Мы заинтересованы в том, чтобы любое использование ИИ осуществлялось деликатно, с глубокой заботой о конфиденциальности, прозрачности и снижении рисков", - написал Моррис в блоге Koko в выходные, добавив, что клинический консультативный совет компании собирается обсудить рекомендации для будущих экспериментов, "особенно в отношении одобрения IRB".