Штучний халіфат: створення пропаганди на підтримку Ісламської держави за допомогою генеративного ШІ
Вступ
Дослідження продовжують вивчати, як терористичні організації використовують або можуть використовувати штучний інтелект (ШІ) для вербування, пропаганди, збереження онлайн-акаунтів, комунікації та планування нападів. У своєму дослідженні Мірон Лакомі виявив, що хоча «чат-боти мало корисні для полегшення доступу до терористичного контенту в Інтернеті», вони надавали «високоякісну інформацію», яка може бути корисною для створення вибухових речовин, і пропонували обмежені можливості для тих, хто бажає створювати візуальну пропаганду. У звіті Tech Against Terrorism за 2023 рік задокументовано «технічну групу підтримки прихильників ІД», яка ділилася посібником, що інформував користувачів про те, як захистити свою приватність під час використання генераторів контенту ШІ, і прихильників ІД, які використовували ШІ для транскрипції голосових повідомлень від керівництва ІД. Звіт також відзначив поширення візуальної пропаганди, створеної або покращеної за допомогою ШІ, акаунтами прихильників Аль-Каїди та Хамасу. Даніел Сігел і Мері Б. Доті зазначили, як екстремісти можуть використовувати генеративний ШІ для покращення візуальної/аудіо креативності за допомогою «налаштованого контенту, який є водночас візуально привабливим і переконливим».
Як демонструють вищезгадані дослідження, потенціал використання ШІ екстремістськими акторами є величезним і різноманітним. Щоб забезпечити глибше розуміння цієї актуальної теми, цей аналіз зосереджується на аспекті візуальної пропаганди, досліджуючи попередній набір даних із 286 одиниць пропаганди, згенерованої/покращеної ШІ, створеної або поширеної про-ІД акаунтами на таких платформах, як Instagram, Meta, Pinterest та Pixiv. Перший розділ надає огляд даних, процес якісного кодування та значення кожного якісного коду. Наступний розділ аналізує взаємозв’язки між різними кодами та ширші наслідки, які можна зробити з даних. Висновок підсумовує результати, розглядає обмеження дослідження та пропонує пункти, які можуть розглянути представники технологічного сектора.
Дані та методологія
Збір даних
Щоб знайти зображення, створені ШІ прихильниками ІД, я спочатку визначив загальнодоступні про-ІД акаунти в Instagram за допомогою пошуку за ключовими словами та відзначив фото профілю та пости, що містили візуальний контент, згенерований ШІ. Під час дослідження я помітив схожі зображення, які повторювалися на різних профілях користувачів та в стрічках новин: мультфільми про бойовиків ІД у масках на тлі розмитого прапора ІД. Щоб знайти джерело цієї пропаганди, я переглянув списки «тих, на кого підписані» різні акаунти ІД. Особа, що стояла за акаунтом, яку псевдонімно називатимуть «IslamicState_Supporter», публікувала широкий спектр контенту в Instagram, а в описі акаунту були посилання на дзеркальні або резервні акаунти в Instagram та на інших платформах.
Публічні коментарі від прихильників ІД із запитаннями щодо контенту ШІ та відповіді IslamicState_Supporter підтвердили, що ця особа а) є оригінальним творцем і б) дійсно інтегрувала ШІ в процес створення пропаганди. Хоча значна частина даних походить від IslamicState_Supporter, я також зробив знімки екрана постів з інших про-ІД акаунтів, що містили зображення ШІ. Нижче наведено розбивку акаунтів та даних:
* Псевдоніми використовуються для всіх зазначених імен користувачів акаунтів*
IslamicState_Supporter (загальний підсумок): 215
Опис: Історія публікацій цього акаунту між платформами складалася з оригінального контенту, що включав використання ШІ.
- Instagram: 31
- Pinterest: 105
- Pixiv: 25
- Meta: 54
CampFundraising_Account: 28 одиниць даних
Опис: Історія публікацій цього акаунту була зосереджена на поширенні новинних оновлень з таборів у Східній Сирії, просуванні збору коштів, нібито організованого мешканцями таборів, і час від часу включала контент, згенерований ШІ. Контент ШІ не був оригінальним або явно про-ІД.
IslamicState_Art: 19 одиниць даних
Опис: Історія публікацій цього акаунту в Instagram включала різноманітний оригінальний контент, який, здавалося, був сумішшю малюнків від руки та зображень, покращених за допомогою ШІ. Хоча багато постів здавалися виключно малюнками від руки, цей набір даних включав лише ті, що використовували можливості ШІ.
Tawhid_Account: 9 одиниць даних
Опис: Історія публікацій цього акаунту в Instagram містила контент, згенерований ШІ, і надавала перевагу естетиці «традиційного живопису» для зображень. Це може бути оригінальний контент, і лише одне зображення було явно про-ІД.
Різні акаунти: 14 одиниць даних
Опис: Контент з цих акаунтів в Instagram та Pinterest був зібраний з різних випадкових про-ІД акаунтів, які не регулярно містили контент, згенерований ШІ.
Загальна кількість зібраних зображень: 286
Методологія кодування та коди
Після збереження даних я переглянув кожне зображення та звузив його до загального списку кодів відповідно до процесу якісного кодування, описаного Куртом Бреддоком:
- Визначив «загальне враження» від контенту
- Створив початковий список кодів
- Об’єднав схожі коди в один більший код
- Організував будь-які залишені коди, переконавшись, що «всі коди в кожній темі концептуально схожі» і «всі теми мають ідентифіковані відмінності»
- Кількісно оцінив коди
Коди для цього набору даних включають наступне:
Стиль: Зазначає художній стиль контенту
Люди та місця
Об’єкти на зображенні
Інші теми
Попереднє обговорення
Контент, створений IslamicState_Supporter, надмірно представлений у наборі даних, що впливає на результати кодування. Однак той факт, що ця особа має велику кількість контенту порівняно з іншими про-ІД акаунтами, надає цікавий приклад того, як можливості ШІ можуть сприяти масовому створенню екстремістської пропаганди, посиленої ШІ. Як продемонстрував IslamicState_Supporter, користувач може творчо контролювати результат, особливо при поєднанні можливостей ШІ з малюнками від руки та програмами для редагування фотографій. Для подальшого контексту важливо зазначити, що IslamicState_Supporter прямо заявив про свій намір створити різноманітний унікальний контент, що дозволяє нам чітко зрозуміти мету пропагандистської ініціативи, зосередженої на ШІ.
Розглядаючи повний набір даних, різні коди допомагають розділити та ідентифікувати елементи на цих зображеннях, згенерованих ШІ, пропонуючи можливості для розгляду творчих та/або процесів прийняття рішень прихильниками ІД під час створення або репосту контенту.
Стиль
Естетика мультфільмів/аніме була найпопулярнішим стилем зображень, за нею йшов контент, розроблений так, щоб виглядати так, ніби він створений традиційними методами живопису. Варто зазначити, що найменш популярною категорією була «абстрактна естетика» (рис. 1), що демонструє тяжіння до реалістичного контенту. Акцент на більш реалістичних зображеннях може відображати зусилля прихильників щодо конкретного зміцнення образів ІД як поточної реальності через візуальне представлення, а не абстрактні «художні» посилання на так званий халіфат, дні слави якого вже минули.
Рис. 1: Приклад «абстрактної естетики»
Люди та місця
Пропаганда включала зображення різних людей і місць для передачі різних наративів. Наприклад, IslamicState_Supporter часто створював або репостив зображення самотнього муджахіда ІД, зайнятого різними видами діяльності: тримає прапор ІД зі зброєю поруч, стоїть або сидить сам перед здійсненням терористичного акту або страти. Контент, що зображував жінок, як правило, показував їх у мовчазному моменті роздумів, на самоті або з іншими жінками. Зображення дітей переважно представляли їх як жертв війни або молодих бойовиків ІД, які беруть участь у різних насильницьких діях, включаючи обезголовлення. Кілька зображень показували конкретних відомих осіб, зокрема Абу Бакра аль-Багдаді та Абу Мохаммеда аль-Аднані.
Хоча багато коментаторів хвалили пости в цій категорії – особливо «мистецтво», яке вони ідентифікували як оригінальне – пропаганда, згенерована ШІ, не була позбавлена критики. Деякі прихильники ІД скаржилися, що стиль є неісламським або харам; у відповідь, оригінальні автори заявили про свою віру, що це не харам, якщо це не включає обличчя. Цікаво, і, можливо, у відповідь на відгуки аудиторії, остання більшість пропаганди ШІ від IslamicState_Supporter тепер включає лише прапор ІД. Лише час покаже, чи призвела негативна критика до того, що пропагандист припинить створювати контент, що зображує людей.
Нарешті, зображення, зосереджені на ідентифікованих місцях або країнах, переважно прагнули доставити ворожі візуальні повідомлення ворогам ІД: Сполученим Штатам, Європі (Франції та Італії), Саудівській Аравії, Ірану, Росії, Китаю та міжнародним коаліціям. 8 із 37 у цій категорії показували рендеринги ШІ Куббат ас-Сахра (Купол Скелі) з прихованим повідомленням про те, що ІД маршируватиме на Аль-Аксу і здобуде перемогу. Коротше кажучи, включення конкретних географічних даних могло б передавати як ворожі повідомлення, так і надії на перемогу для співприхильників.
Об’єкти на зображенні
Прапори Ісламської держави та зброя становили два найпоширеніші об’єкти у контенті, згенерованому ШІ. Хоча використання прапора ІД, мабуть, збільшує ризик блокування акаунту, той факт, що він з’явився на 45% постів, свідчить про важливість, яку надають просуванню «бренду ІД» та швидкій ідентифікації ідеологічної приналежності особи як для внутрішньої, так і для зовнішньої аудиторії. З 121 зображення, що містили зброю, майже 76% також містили прапор ІД, що вказує на зусилля пропагандистів пов’язати ІД із демонстрацією сили, потужності та загрозливих попереджень супротивникам. ШІ не відтворює прапори ІД, але це не становило перешкоди. Хоча незрозуміло, який процес використовували пропагандисти для включення прапорів ІД, програми ШІ можуть створювати схожі дизайни, які потребуватимуть лише незначних редагувань (рис. 2), а в інших випадках вони роблять точне відтворення прапора при введенні певних ключових слів (рис. 3).
Рис. 2 і 3: Приблизне зображення прапора ІД програмою ШІ та точне зображення прапора ІД програмою ШІ
Кілька зображень містили електронні пристрої (телефони, ноутбуки тощо), додавали газети як фонове «шпалери» позаду основного об’єкта зображення або прагнули імітувати/просувати новинне агентство ІД Amaq. Хоча предмети, пов’язані зі ЗМІ, становили меншу частку даних, їх візуальна присутність свідчить про визнану важливість, яку ЗМІ та електронні пристрої відіграють у пропаганді, вербуванні та зв’язку між співприхильниками (рис. 4).
Рис. 4: Частково згенероване ШІ зображення прихильника ІД за комп’ютером на тлі прапора, створеного прихильником ІД.
Інші теми
З продовженням збору даних коди будуть розвиватися, але попереднє кодування виявило деякі інші поширені теми, включаючи братерство між бойовиками ІД, зображення чоловіків, що йдуть у бій, насильство та жертви. Зображення страт склали 44%, а терористичні атаки – 33% набору даних, що в сумі становить 77% контенту, розробленого для транслювання насильства проти зовнішніх груп. Цікаво, що зображення з категорії «у бій» підкреслювали почуття братерства та єдності, а не зосереджувалися на ліквідації ворогів бойовиками ІД. Вороги навіть не були показані на цих зображеннях, а основними суб’єктами були самі «солдати» ІД.
Зусилля щодо уникнення модерації контенту
Приблизно 22% зображень використовували стратегію уникнення контенту, розмиваючи прапор ІД на задньому плані або накладаючи стікер. IslamicState_Supporter широко застосовував цей метод до зображень, завантажених на свої акаунти в Instagram та Meta, але помітно надавав незмінені чіткі версії на Pinterest та Pixiv.
Висновок
І без того децентралізований характер онлайн-спільнот прихильників ІД створює середовище, що заохочує незалежну творчість, і за допомогою генеративного ШІ прихильники мають розширені можливості для ефективного створення нового візуального контенту. У контексті цього дослідження багато прихильників ІД цінували креативність, що демонструється в одному випадку, коли один автор оригінального контенту опублікував опитування, запитуючи про відгуки щодо того, які стилі мистецтва ШІ люди віддають перевагу і що вони хочуть бачити далі. Обмін, створений опитуванням, продемонстрував цінність внеску аудиторії та зусилля творця, щоб прихильники відчували себе суб’єктами впливу на результат контенту.
Спочатку контент у наборі даних міг здатися повторюваним – наприклад, зображення, що постійно містять прапори ІД. Насправді IslamicState_Supporter отримав кілька критичних коментарів, що свідчать про необхідність диверсифікації контенту. Однак ближчий аналіз все ще виявляє глибші наративні нюанси, зумовлені загальною колірною схемою/стилем самого зображення, рішенням творців контенту включити певні об’єкти (як-от зброя, прапор чи книга) та конкретною діяльністю основного суб’єкта, зображеного на зображеннях.
Як згадувалося раніше, контент IslamicState_Supporter спотворив розподіл попередніх тематичних патернів, що певним чином є обмеженням. Однак розширення набору даних за межі цього одного акаунту та перегляд початкових результатів все ще корисні з кількох причин. По-перше, включення інших акаунтів та постів демонструє зростаюче розмаїття контенту та наративів, якими прихильники ІД прагнуть ділитися за допомогою зображень на основі генеративного ШІ. По-друге, це безперервний процес збору даних, і в міру його розширення для включення інших джерел, різноманітність надасть більш точний огляд типів контенту, що виробляється. Нарешті, це підкреслює, скільки контенту може виробляти відданий прихильник ІД за допомогою інструментів ШІ. Зважаючи на це, три основні категорії кодів («Прапор Ісламської держави», «Зброя» та «Самотній персонаж») відображають мислення неофіційних пропагандистів, включених до цього набору даних, і вони значно зосереджувалися на передачі більш сміливих образів.
Щодо деяких ідей для майбутніх напрямків досліджень, дослідження візуальної пропаганди на підтримку ІД, створеної або покращеної за допомогою ШІ, могли б перехресно порівнювати виявлені наративи з тими, що знайдені в офіційній пропаганді, відзначати гендерні повідомлення, що передаються через зображення та естетику, або порівнювати, як загальна мета акаунту впливає на те, як він розробляє візуальний контент на основі ШІ. Також було б цікаво порівняти наративи, вироблені в «мистецтві», створеному прихильниками, з дослідженнями, такими як робота Чарлі Вінтера, яка документувала теми, що передаються в офіційній візуальній пропаганді ІД.
Наступні пункти можуть бути корисними для представників технологічного сектора, які прагнуть протидіяти виробництву та поширенню терористичного контенту, згенерованого ШІ:
- Покладання виключно на програми ШІ для створення екстремістських зображень може бути обмеженим. Однак ШІ у поєднанні з оригінальним мистецтвом та програмами для редагування фотографій створює значно ширший спектр творчих можливостей.
- Виявлення комбінацій слів, які найефективніше дозволяють створювати зображення, згенеровані ШІ, для екстремістських цілей, допоможе обмежити їх створення на джерелі.
- Генеративний ШІ може збільшити вагу, яку екстремістські групи надають поширенню свого контенту серед громадськості, оскільки він служитиме оригінальним посиланням для ШІ для відтворення схожих зображень.
- Прогалини в зусиллях з модерації контенту можуть призвести до того, що прихильники ІД, які створюють пропаганду на основі ШІ, тяжітимуть до певних платформ і створюватимуть сховище для цих зображень, одночасно застосовуючи контрмодераційні стратегії до частково розмитих або прикритих версій, які вони поширюють на таких сайтах, як Instagram або Meta (як показав випадок IslamicState_Supporter).
- Особи, які створюють екстремістський контент за допомогою генеративного ШІ, проходять процес спроб і помилок, який включає експериментування з рядками ключових слів, що, як правило, призводять до бажаних зображень. Навіть якщо зусилля з модерації контенту виявляють такі слова, як «Ісламська держава», їх легко обійти за допомогою альтернативних фраз. Виявлення цих альтернативних комбінацій слів, що призводять до генерації явно екстремістських візуальних матеріалів, є важливим.
- Шкода, завдана репродукціями расистських зображень за допомогою ШІ в загальному плані, є першочерговою проблемою, але, крім того, необхідно враховувати, як схильність до упереджень допомагає екстремістам у їхніх зусиллях зі створення візуальної та текстової пропаганди, чи то білі супрематисти, чи прихильники ІД, наприклад.