Зброя масової ненависті: використання штучного інтелекту правими екстремістами
Увага: Ця стаття містить антисемітські, расистські та сповнені ненависті зображення й мову.
Вступ
У Telegram існує праворадикальне (ПРЕ) прискорювальне угруповання, яке поширює ідеологічно екстремістські матеріали, заохочує до насильства, прославляє тероризм та демонізує меншини. Угруповання функціонує як вільна мережа без формальної приналежності до будь-якої групи, але тісно пов’язане з кількома екстремістськими організаціями, зокрема російськими найманцями, українськими добровольчими батальйонами, Ouest Casual (французькою ультраправою групою, що підтримує насильство) та The American Futurist, яка тісно пов’язана з неонацистом Джеймсом Мейсоном та колишніми членами Atomwaffen Division.
Більшість цих каналів дотримуються неонацистської ідеології та розповсюджують посібники й інструкції щодо скоєння расово мотивованих терористичних актів проти уряду та влади. Їхня пропаганда часто використовує візуальні теми, пов’язані з бойовиками, терористами, військовими та сценами з поточних конфліктів на Близькому Сході, в Чечні, на Балканах та у Північній Ірландії.
Угруповання є високо децентралізованим. Тому саме дії окремих осіб визначають онлайн-активність групи, роблячи її вкрай непередбачуваною. Наразі одним із найпопулярніших методів виробництва ПРЕ-пропаганди є генеративний штучний інтелект (ШІ).
За допомогою цифрового етнографічного збору даних, ця стаття досліджує, як прискорювачі в Telegram використовують ШІ для створення різноманітних зображень для поширення пропаганди. Крім того, вона розглядає їхню експлуатацію великих мовних моделей (ВММ) для отримання інформації для здійснення нападів або інтерпретації маніфестів, надаючи огляд того, як актори насильницького екстремізму використовують ШІ для своїх ідеологічних цілей.
Як ПРЕ в Telegram використовують ШІ
Прискорювальні маніфести закликають до використання всіх технологій, які зрештою призведуть до колапсу суспільства та расової війни. Члени онлайн-угруповання посилаються на маніфест Унабомбера/Теда Качинського, щоб виправдати використання будь-яких доступних інструментів для руйнування системи. ШІ має потенціал створювати масові дезінформаційні кампанії, подавати радикалізуючі пропагандистські матеріали необізнаним онлайн-користувачам, збирати інформацію про потенційні цілі або навіть знаходити інструкції зі створення вибухових пристроїв. Його також можна використовувати для написання шкідливого програмного забезпечення, що дозволить екстремістам атакувати онлайн-інфраструктури.
Певні ультраправі прискорювальні Telegram-канали присвячені створенню та поширенню мемів та пропаганди, згенерованих ШІ (Рис. 1). Ці канали мають кілька тисяч підписників і містять тисячі зображень, що відображають усі ідеологічні аспекти екстремізму. За нашим аналізом, такий тип контенту можна класифікувати на три основні категорії.
Славослів’я нацистської символіки та військових діячів
Зображення, що зображують німецьких солдатів Другої світової війни, спрямовані на зміцнення архетипу сильного, білого, войовничого чоловіка. Славлення войовничого чоловіка також ефективне для радикалізації онлайн-користувачів та переконання їх не тільки в необхідності, але й у красі насильства. На думку прискорювачів, насильство є основним засобом прискорення процесу колапсу системи, оскільки політичного рішення немає; система повинна впасти, щоб почати все спочатку.
Рис. 2, опублікований на еко-фашистському прискорювальному каналі, містить зображення військового у тактичному спорядженні та масці-черепі, а підпис до нього говорить: “Індустріальна революція та її наслідки були катастрофою для людства”. Це відомий початок маніфесту Теда Качинського, або Унабомбера. Качинський є ключовою фігурою в еко-фашистських, прискорювальних онлайн-субкультурах, шанований як святий на багатьох ПРЕ Telegram-каналах, а його маніфест став фундаментальним наріжним каменем їхньої ідеології. З естетичної точки зору, шрифт, яким написаний цей початок, використовується неонацистським пропагандистом Dark Foreigner і часто зустрічається в пропаганді терористичних груп, таких як Atomwaffen Division. Це зображення може бути привабливим для середньостатистичного прискорювального користувача; шрифт, маска-череп і тактичне спорядження зображують те, що сприймається як архетипний чоловік. Рис. 3 показує трьох нацистських солдатів часів Другої світової війни, зображених з використанням естетики vaporwave/fashwave для передачі ультраправих екстремістських поглядів. Психоделічна естетика може бути особистим вибором творця контенту, який часто ділиться візуально схожими матеріалами. Це зображення значною мірою спирається на свій візуальний ефект, прославляючи нацистів.
Расистські та антисемітські зображення
Расизм та антисемітизм є фундаментальними складовими ультраправої ідеології. Теми уявного верховенства білої раси, теорії змови про триваючий «білий геноцид», спричинений расовими змішаннями, та нібито вторгнення мігрантів до Європи та Північної Америки часто спостерігаються в онлайн-пропаганді. Євреї стають мішенню в пропаганді, згенерованій ШІ, їх зображують як загрозу західній цивілізації та відповідальних за проблеми сприйнятого морального занепаду від порнографічної індустрії, ЛГБТК+ спільноти, масової міграції та пандемії COVID-19. Зображення, згенеровані ШІ, часто містять шкідливі стереотипи, натяки на теорії змови або прямі заклики до насильства (Рис. 4). Зазвичай, останні супроводжуються абревіатурами, такими як TND (Total N*er Death) або TKD (Total Ke Death, антисемітська лайка).
Меми
Третій тип контенту стосується мемів – ефективного та простого засобу поширення ПРЕ-пропаганди. Найпопулярнішими форматами в нашому наборі даних є Пепе Жаба та Moon Man. Це найчастіше використовувані меми в онлайн-спільнотах альт-райт та ультраправого спрямування.
Пепе Жаба походить з 2005 року як частина невинної серії коміксів «Boy’s Club» і швидко став популярним мемом на 4chan до 2008 року. У 2014 році мем був захоплений альт-райт та ультраправими для просування наративів про верховенство білої раси онлайн. Він навіть став потужною силою на президентських виборах у США 2016 року після того, як Трамп ретвітнув версію себе як персонажа.
Moonman походить з 1986 року як Mac Tonight, маскот McDonald’s. Перша поява як мему датується 2006 роком, коли Moon Man з’явився на YTMND (You’re the man now, dog!) як анімований gif. У 2015 році мем був захоплений ультраправими і з того часу часто асоціюється з жаргоном прихильників верховенства білої раси. Приклади цих двох мемів, зображених моделлю ШІ, можна побачити на Рис. 7, де Пепе Жаба зображений схожим на Адольфа Гітлера, та на Рис. 8, де Moon Man душиць афроамериканця.
Експлуатація ВММ
Створення зображень – це не єдине застосування ШІ, яке використовують екстремісти. ПРЕ-канали також експлуатували ВММ, навіть розробляючи власні або частково модифікуючи існуючі, щоб обійти вбудовані функції безпеки, призначені для запобігання створенню та поширенню користувачами небезпечного чи ксенофобського контенту.
ВММ не тільки мають потенціал для створення масштабних дезінформаційних кампаній, але й можуть бути змушені надавати інформацію, яка допоможе насильницькому екстремісту підготуватися до нападу. Один із прикладів можна побачити на Рис. 6, де еко-фашистський канал запитував інструкції щодо створення спускового механізму – запального пристрою, необхідного для ініціювання вибуху – та подальшого пояснення роботи бомб Качинського. Іншим прикладом використання ВММ екстремістами є розробка «неупереджених» моделей ШІ (Рис. 7). Ультраправий користувач опублікував як інструкції для запуску моделі без цензури, так і рецензію на прискорювальний маніфест, яку попросив один з адміністраторів ШІ. Рецензія на маніфест, враховуючи її стислість, може бути поширена легше, ніж сам маніфест, збільшуючи його радикалізуючий потенціал.
Висновок
Згідно з останніми звітами, що деталізують екстремістські мережі в Telegram, онлайн-ПРЕ використовують існуючі генеративні моделі ШІ для створення візуальної пропаганди та навіть для розробки вибухових пристроїв, що використовуються в кінетичних атаках. Однак існує зростаюче занепокоєння, що зі зростанням ІТ-можливостей ультраправих груп може виникнути сценарій, коли ШІ буде використовуватися для створення більш складної та цілеспрямованої пропаганди, а також для здійснення кіберзлочинних кампаній, спрямованих на онлайн-інфраструктури.
З цієї причини вкрай важливо активізувати дослідницькі зусилля в межах цих екосистем для запобігання та протидії використанню ШІ екстремістами, а також для впровадження проактивного підходу до запобігання майбутнім загрозам. Технологічні компанії повинні залишатися пильними, відстежуючи розробку нових моделей, що належать екстремістам, які можуть бути використані в злочинних цілях. Впровадження внутрішніх груп оцінки загроз та розробка процедур, орієнтованих на боротьбу з тероризмом, є вирішальними кроками для виявлення та вирішення потенційних загроз, що виникають з боку ПРЕ, які використовують технології ШІ.