После нескольких месяцев шумихи Google и Microsoft объявили о скором появлении Bard и интегрированной в ChatGPT поисковой системы Bing в течение 24 часов после друг друга. На первый взгляд, публичные демонстрации обоих технологических гигантов представляли собой потенциально революционные продукты, способные перевернуть множество отраслей. Но даже беглые обзоры не сразу выявили вопиющие недостатки в предложениях Bard от Google. Теперь настала очередь Microsoft, и результаты проверки оказались такими же плохими, как и у Bard, если не хуже.
В понедельник независимый исследователь ИИ Дмитрий Бреретон опубликовал в блоге сообщение, в котором подробно описал многочисленные проблемы, возникшие при работе с Bing на базе ChatGPT. Демонстрация Bing часто содержала некачественную информацию: от неточных сведений о рекомендуемых продуктах, до опущения или искажения информации об остановках в пути и даже искажения, казалось бы, простых финансовых отчетов. В последнем случае ИИ Bing суммировал основные финансовые данные - то, что должно быть "тривиальным" для ИИ, по словам Бреретона, - и ни с того ни с сего содержал совершенно ложную статистику.
Но даже в правильном случае Bing мог грубо обойти простые этические рамки. Согласно одному из отчетов Марка Хачмана из PCWorld, ИИ предоставил детям Хачманов литанию этнических оскорблений, когда их спросили о культурных прозвищах. Хотя Bing предварял свои примеры предупреждением о том, что некоторые прозвища являются "нейтральными или положительными, а другие - уничижительными или оскорбительными", чат-бот, похоже, не потрудился классифицировать свои результаты. Вместо этого он просто создал прачечный список хороших, плохих и крайне уродливых предложений.
Директор по коммуникациям Microsoft Кейтлин Роулстон сказала The Verge, что компания "ожидает, что система может допускать ошибки в течение этого периода предварительного просмотра, и обратная связь очень важна, чтобы помочь определить, где что-то не работает хорошо, чтобы мы могли учиться и помогать моделям становиться лучше".
Поскольку компании неизбежно спешат внедрить возможности "умных" чатботов в свои экосистемы, критики утверждают, что эти проблемы жизненно важно рассмотреть и решить до широкого внедрения. По мнению Чинмая Хегде, доцента инженерной школы Тандон Нью-Йоркского университета, ошибки были совершенно неудивительны, и Microsoft слишком рано представила свою технологию.
"На высоком уровне причина возникновения этих ошибок заключается в том, что технология, лежащая в основе ChatGPT, представляет собой вероятностную [подчеркивает Хегде] модель большого языка, поэтому в ее выводах присутствует неопределенность", - пишет он в письме PopSci. "Мы никогда не можем быть абсолютно уверены в том, что она скажет дальше". Поэтому такие программы, как ChatGPT и Bard, могут быть полезны для задач, где нет однозначного ответа - например, для шуток или рецептов - но не так хороши, когда требуется точность, например, для исторических фактов или построения логических аргументов, говорит Хегде.
"Я шокирован тем, что команда Bing создала это заранее записанное демо, наполненное неточной информацией, и уверенно представила его миру, как будто оно хорошее", - пишет Бреретон в своем блоге, а затем добавляет: "Я еще больше шокирован тем, что этот трюк сработал, и все вскочили на поезд шумихи вокруг ИИ Bing, не проявив ни малейшей должной осмотрительности".