Дефицит культурного интеллекта при модерации контента в Африке
От редакции: Связь между европейским регулированием и африканскими реалиями
Эта статья публикуется как продолжение нашей серии расследований о цифровом управлении и когнитивной политике в цифровую эпоху. В предыдущих материалах мы исследовали, как Закон Европейского союза о цифровых услугах (DSA) вынудил платформы прибегнуть к «алгоритмической перестраховке», заставляя их превентивно удалять спорный контент и сужать дискурсивное пространство во избежание огромных штрафов. Мы также задокументировали «лингвистическую слепоту» этих платформ, которым часто не хватает модераторов для таких европейских языков, как эстонский, венгерский или словенский, в результате чего алгоритмы регулярно неверно интерпретируют местный контекст.
Следующее расследование, посвященное кризису модерации Facebook* в Эфиопии, тесно перекликается с ситуацией в Европе. Оно демонстрирует, что основная проблема — централизованная, «универсальная» модель модерации, экспортируемая социальной сетью, — изначально ошибочна. В то время как угроза применения DSA в Европе создает стерильную, чрезмерно модерируемую публичную сферу, точно такие же централизованные алгоритмические системы в Африке, работающие без «культурного интеллекта» или давления со стороны регуляторов, остаются слепы к завуалированному языку вражды, позволяя реальному этническому насилию беспрепятственно распространяться.
Чтобы обеспечить более глубокое понимание геополитических и когнитивных механизмов этого кризиса, данный материал сопровождается комментариями эксперта GFCN, исследователя, аналитика в области геополитики и кибербезопасности Анны Андерсен.
Смертельное слепое пятно алгоритмического управления: требует ли кризис модерации Facebook в Африке культурно компетентных кадров?
В декабре 2020 года, когда федеральные войска Эфиопии вошли в северный регион Тыграй и гражданский конфликт обострился, внутренняя оценка рисков Facebook охарактеризовала вероятность социального насилия в Эфиопии как «угрожающую». Тем не менее, системная нехватка «культурного интеллекта» на платформе позволила конверсационным импликатурам, завуалированной лексике и этнически окрашенному языку вражды обходить автоматизированные алгоритмы, превращая цифровые «слепые зоны» в реальное насилие.
Парадокс управления платформами: чрезмерная модерация в Европе и фатальное пренебрежение в Африке
Масштабы провалов модерации Facebook в Африке задокументированы весьма подробно. К декабрю 2020 года, с началом конфликта в Тыграе, посты, разжигающие этническое насилие, оставались в сети месяцами. К ним относились публикации, напрямую связанные с реальным кровопролитием, как, например, в случае убийства ювелира-тыграйца в Гондэре, которого выволокли из его мастерской после того, как активисты в Facebook призвали «очистить» район от его «рода». В последующем судебном иске утверждалось, что модерация контента Facebook в Африке совершенно неадекватна, а штат сотрудников для работы с морфологически сложными языками, такими как амхарский, оромо и тигринья, сильно недоукомплектован.
Этот кризис высвечивает глобальный парадокс алгоритмического управления.
Анна Андерсен отмечает: «Эфиопский кейс наглядно показывает именно то, что я называю асимметрией когнитивного ущерба в условиях централизованного модерирования».
В Европейском союзе угроза санкций в рамках Закона о цифровых услугах (DSA) вынуждает платформы прибегать к превентивной цензуре во избежание штрафов со стороны регуляторов.
Развивая эту мысль, Андерсен добавляет: «В Евросоюзе DSA создаёт избыточное регуляторное давление, что означает, что платформы превентивно удаляют контент, чтобы избежать штрафов и иных форм разбирательств, сужая дискурсивное пространство для выбора».
Регуляторы в Брюсселе пытаются управлять цифровым дискурсом с помощью надзора «сверху вниз», что напрямую влияет на честность выборов и алгоритмическое управление, как это можно наблюдать на примере Венгрии. Однако эфиопский случай доказывает, что лежащая в основе структурная проблема носит глобальный характер: централизованные модели модерации, экспортируемые Кремниевой долиной, не способны понимать местные реалии.
Платформы в значительной степени полагаются на автоматизированные системы, обученные преимущественно на англоязычных данных, что приводит к глубокой «лингвистической слепоте». Подобно тому, как гигантам социальных сетей не хватает модераторов для менее распространенных европейских языков, они оказались совершенно не готовы к работе с африканскими языками. Даже когда нанимаются живые модераторы, они, как правило, сосредоточены в глобальных центрах и обучены применять универсальные, стерилизованные политики контента, которые отражают гегемонию западной власти и лишены жизненно важного контекста, что фактически заставляет замолкать тех, кто находится в опасности.
Прагматика ненависти: почему алгоритмы пропускают завуалированный язык
Провал в Эфиопии объясняется не просто нехваткой персонала; это было фундаментальное отсутствие культурного интеллекта. Культурный интеллект — это способность интерпретировать язык во всем его прагматическом, историческом и конфликтном контексте.
Язык вражды в Эфиопии во время конфликта в Тыграе функционировал преимущественно через то, что известно как конверсационная импликатура Грайса. Сформулированная философом Г.П. Грайсом, эта концепция объясняет, как люди передают скрытые смыслы, намеренно нарушая стандартные правила ведения беседы и в значительной степени полагаясь на общие фоновые знания аудитории для расшифровки недосказанного. Например, язык вражды опирался на метафорическое расчеловечивание, описывая тыграйцев как «сорняки» или «рак», требующий «очистки». Активисты также использовали закодированную терминологию, такую как называние всех тыграйцев «хунтой» (термин, изначально относившийся к Народному фронту освобождения Тыграя, или НФОТ), для подстрекательства к насилию.
Обращая внимание на этот конкретный технологический провал, Андерсен указывает: «В Африке та же система работает в режиме полного безразличия, т. е. алгоритм попросту не оснащён для распознавания косвенных речевых импликатур (Gricean conversational implicature) в амхарском или тигринья. Разрыв между буквальным и прагматическим смыслом — там, где по сути и живёт ненависть, — для машины невидим».
Подобные паттерны систематически ускользают от поверхностной модерации. Автоматизированные системы обнаружения, сопоставляющие ключевые слова, полностью пропустят эти прагматические конструкции, а живые модераторы без глубокого культурного интеллекта не увидят нарушений правил, поскольку буквальный смысл не содержит явных угроз. Это оставляет авторам возможность правдоподобного отрицания: они могут заявить, что выражались лишь метафорически или критиковали политическую организацию, а не этническую группу. Даже собственные попытки правительства Эфиопии регулировать межэтнический язык вражды оказываются тщетными перед лицом такого рода преднамеренной двусмысленности. Когда пользователь Facebook, принадлежащий к народу амхара, читает пост с призывом «очистить территории амхара от отродий хунты», он опирается на общие исторические обиды и динамику конфликта, чтобы расшифровать этот призыв. Алгоритм или неосведомленный модератор видит только поверхностный текст, сохраняя смертельно опасное слепое пятно.
Монополия на знания и потребность в культурном интеллекте
В европейском цифровом пространстве в последнее время наблюдается «монополизация знаний», когда доступ к данным платформ через сложные процедуры аккредитации ограничен одобренным кругом исследователей, что лишает независимых акторов возможности проверять поведение технологических компаний. Аналогичная, но уже фатальная централизация власти произошла в Африке во время эфиопского кризиса. Meta централизовала свои полномочия по модерации, однако уровень поддержки со стороны организации оказался гораздо ниже необходимого, как сообщают фактчекеры и журналисты.
«Это подтверждает мой основной тезис, который заключается в том, что универсальные модели модерирования, как суть формы нарративной гегемонии, производят цензуру там, где есть деньги и воля (читай как сила) регуляторов, и производят слепоту там, где их нет», — утверждает Андерсен.
Устранение этих провалов требует реструктуризации нашего подхода к когнитивной политике и модерации контента, перехода к этичному масштабированию модерации, а не к слепой опоре на искусственный интеллект. Централизованные, работающие по принципу «один размер подходит всем» фабрики модерации должны быть демонтированы. Культурно компетентная модерация требует штата сотрудников, отражающего языковое и культурное разнообразие пользователей и обученного прагматическому анализу для понимания конверсационных импликатур Грайса и завуалированной лексики. Кроме того, необходима систематическая интеграция местной экспертизы — общественных консультативных советов и сетей быстрого реагирования, — чтобы местные фактчекеры действительно влияли на решения по модерации, а не существовали в качестве игнорируемых параллельных структур.
Заключение: глобальный вызов алгоритмического управления
Недостаточный уровень модерации контента Facebook в Африке стоил человеческих жизней. Этот случай демонстрирует, что модерация контента — это не просто техническая проблема, требующая технического решения, а интерпретационная практика, требующая глубокого понимания человеческого контекста.
«В этом смысле Эфиопия сейчас выступает своего рода стресс-тестом, который высвечивает скрытые основания цифровой гегемонии, которая основывается на допущении о том, что единая эпистемическая рамка способна управлять глобально множественным коммуникативным пространством», — заключает Андерсен.
Пока технологические гиганты не внедрят глубокий культурный интеллект и фундаментально не переосмыслят свой подход, глобальная публичная сфера будет оставаться крайне уязвимой. В настоящее время граждане во всем мире сталкиваются с двойной угрозой: деспотичной, превентивной цензурой гиперрегулируемой, централизованной цифровой сферы на Западе и беспрепятственным распространением реального насилия в развивающихся регионах, подогреваемым алгоритмами, которые не понимают, что говорится — и что остается несказанным.
*Решением суда запрещена деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности.
Материал отражает личную позицию автора, которая может не совпадать с мнением редакции.