Генеративные языковые программы, такие как ChatGPT, уже могут одурачить некоторых пользователей своими человекоподобными ответами, но все еще есть как минимум один признак их ограниченности. Несмотря на свои огромные возможности, ИИ не может рассказать анекдот.
Точнее, они не могут рассказать много анекдотов, не говоря уже о творческом подходе к ним. Эта комичная оценка принадлежит Софи Йентцш и Кристиану Керстингу, двум исследователям из Немецкого аэрокосмического центра и Института программных технологий Технического университета Дармштадта. Как подробно описано в их новом исследовании, пара недавно попросила ChatGPT3.5 от OpenAI рассказать им анекдот 1 008 раз подряд. Как сообщается, ChatGPT предложил вариации на тему 1 из 25 шуток в 90 процентах случаев. Это привело Джентча и Керстинга к выводу, что его юмористический репертуар, скорее всего, был выучен и запомнен на этапах обучения, а не сгенерирован на лету.
По словам исследователей, все ответы ChatGPT были грамматически правильными, и почти все они содержали только одну шутку. Варьирование формулировок подсказок "не оказало заметного влияния", а ответы ChatGPT с несколькими шутками были получены только после того, как его попросили рассказать "анекдоты" во множественном числе. Как недавно отметила Ars Technica, даже сравнительно небольшое количество уникальных генераций ИИ было результатом смешивания уже запомненных им частей шуток. Более того, они не всегда выдерживали логическую проверку. Одна из таких шуток звучала так: "Почему человек положил свои деньги в блендер? Он хотел заставить время лететь".
Интересно, что ChatGPT-3.5 часто мог правильно определить, что именно делает ту или иную шутку смешной, даже классическую "анти-шутку", например, "Почему курица перешла дорогу? Чтобы перейти на другую сторону". Дальнейшие стресс-тесты, однако, показали, что эта способность была обусловлена предварительным обучением и запоминанием. Например, когда ИИ задавали тонкие вариации "антишутки" про курицу, он пытался установить логические связи на основе содержания подсказки, а не своих предыдущих юмористических знаний:
Вопрос: Можете ли вы объяснить, почему эта шутка смешная: Почему цыпленок пересек игровую площадку? Чтобы попасть на другую горку.
О: "Шутка - это игра слов, в которой используется двойное значение слова "слайд". На детской площадке часто есть два типа горок - горка для детской площадки, по которой дети могут скатываться, и бейсбольная горка, которая является техникой скольжения, используемой в бейсболе".
Такие ответы показывают, что ChatGPT иногда пытается "применить утвержденную схему рассуждений к ситуации, в которой она не подходит", - пишут Джентч и Керстинг. После батареи запросов и анализа шуток исследователи пришли к выводу, что ChatGPT на данный момент выучил "определенный шаблон шутки вместо того, чтобы быть действительно смешным", но его генерация, объяснение и идентификация шуток фокусируется на их смысле и содержании, а не на поверхностных характеристиках. По сравнению с предыдущими большими языковыми моделями, ChatGPT-3.5 можно считать "огромным скачком" к общему пониманию юмора ИИ.
Многие из остающихся вопросов Джентча и Керстинга можно было бы прояснить, изучив методологию OpenAI и наборы данных, используемые для обучения ее программы, о чем она и многие другие компании, занимающиеся разработкой ИИ, по-прежнему умалчивают, ссылаясь на неясные заявления о безопасности и злоупотреблениях. Когда OpenAI попросили объяснить эту загадку, сама новая итерация ChatGPT назвала ситуацию "абсурдом", который "игриво сатирически изображает проблемы, возникающие при исследовании ИИ".
Отлично, ChatGPT-4.