В кодированном языке нет ничего нового, но масштабы, в которых он может быть использован в социальных сетях, по сути, беспрецедентны. Наблюдатели часто сравнивают модерацию онлайн-контента с игрой в "Whack-a-Mole", в которой платформы едва сдерживают приток целевой дезинформации, теорий заговора, пропагандистских образов и языка ненависти.
В докладе Bloomberg, опубликованном на прошлой неделе, говорится, что антивакцинаторы, в частности, все больше полагаются на закодированный язык, часто используя эмодзи для передачи запрещенной дезинформации и пропаганды в социальных сетях, таких как Facebook. Более того, бывший руководитель Facebook, курирующий общественную политику, говорит, что становится ясно, что существующие программы модерации с помощью искусственного интеллекта не выдерживают испытания, и есть основания полагать, что они могут никогда не выдержать.
"Все эти системы, которые эти платформы продолжают создавать, откровенно говоря, все еще находятся в зачаточном состоянии и не могут делать некоторые вещи, которые они хотели бы делать", - сказала в интервью PopSci Кэти Харбат, генеральный директор группы стратегий в области технологической политики Anchor Change и нерезидент-старший научный сотрудник исследовательской лаборатории цифровой криминалистики Atlantic Council, которая ранее в течение десяти лет занимала должность руководителя Facebook по вопросам государственной политики.
Встречаясь и общаясь в группах и на страницах с расплывчатыми названиями вроде "Внезапно умер", Bloomberg отмечает, что антивакцинаторы продолжают распространять откровенно ложную дезинформацию о COVID-19, используя такие фразы, как "съел пирог" для обозначения приема вакцин. "Иногда пользователи утверждают, что их близкие приняли четыре или пять "кусочков" вакцин Pfizer или Moderna, используя эмодзи для пиццы, кексов и различных фруктов, чтобы выразить свою точку зрения", - говорится в отчете.
Контекст является ключевым фактором для пометки и удаления запрещенного контента, что еще больше усложняется для программ мониторинга ИИ в связи с появлением кодовых языков эмодзи. ИИ-модерация контента использует алгоритмы машинного обучения для идентификации, пометки и, при необходимости, удаления контента, который он определяет как проблемный - как правило, сексуально откровенные или насильственные изображения и надписи, но закодированный язык и эмодзи все еще часто являются для них "ахиллесовой пятой". "Машины все еще могут упустить некоторые важные нюансы, такие как дезинформация, предвзятость или язык ненависти. Поэтому добиться стопроцентно понятного, безопасного и удобного для пользователя контента в Интернете кажется почти невозможным", - объясняет сводку служба аннотирования данных Label Your Data.
Харбат говорит, что проблема борьбы как с эмодзи, так и с закодированным языком имеет двоякий характер, как для систем искусственного интеллекта, так и для людей-надзирателей. "Во-первых, вам придется переучивать модераторов, чтобы они могли попытаться понять контекст и понять, пытаются ли они использовать этот эмодзи", - говорит она. "Это может быть непросто, в зависимости от того, сколько [контекста и материала] получают или не получают модераторы контента". Харбат говорит, что эти модераторы часто видят только один пост или сообщение за раз, что лишает их потенциально важного контекста для принятия правоприменительных решений.
Попытка опередить эти группы также сопряжена с определенными трудностями. Харбат объясняет, что обновление или расширение классификаторов и номенклатуры системы модерации также может привести к увеличению числа ложных срабатываний, создавая новые головные боли и осложнения и одновременно принося больше вреда, чем пользы. "Большинство людей используют эмодзи относительно доброкачественно", - говорит она, - "... Это постоянная борьба, с которой приходится сталкиваться всем платформам".
Родительская компания Facebook, Meta, когда к ней обратились за комментарием по этому вопросу, предпочла сослаться на свои успехи в этой области. "Попытки избежать обнаружения или правоприменения являются признаком того, что мы эффективно применяем нашу политику против дезинформации COVID", - написал по электронной почте Аарон Симпсон, менеджер по связям с общественностью Facebook. Симпсон также отмечает, что с начала пандемии Facebook удалил "более 27 миллионов единиц контента" за нарушение политики в отношении дезинформации о COVID-19 как в Facebook, так и в Instagram. По состоянию на текущий год только на платформе Facebook насчитывается около 241 миллиона американцев.
Несмотря на эти многочисленные проблемы, есть и положительные стороны. Программы искусственного интеллекта продолжают повышать свою эффективность, а кодированный язык, учитывая его природу, обычно используется только людьми, которые уже "в курсе", и поэтому не обязательно является ключевым для вербовки или распространения пропаганды. Возможно, это небольшое утешение, но такие люди, как Харват, опасаются альтернатив, призывая к расширению программ цифровой грамотности в противовес такой тактике, как прямой запрет эмодзи.
"Вы можете полностью запретить все эти вещи, но тогда они просто вернутся к кодовым словам", - говорит Харват. "Вы дойдете до того, что просто закроете Интернет".