“AI-джихад”: Як ХАМАС, Аль-Каїда та ІДІЛ використовують штучний інтелект для поширення пропаганди
Революція у сфері генеративного штучного інтелекту (ШІ) останніми роками докорінно змінила не лише приватний сектор та креативні індустрії, а й методи роботи екстремістських організацій. Тепер ШІ стає потужним інструментом маніпуляції в їхніх руках, що відкриває нову еру в цифровій війні та онлайн-операціях впливу.
Дослідження вже виявили, як деструктивні групи використовують великі мовні моделі (LLM) для поширення насильницьких стереотипів та створення шкідливого контенту. Так, користувачі платформ на кшталт 4chan створюють цифрові персони, що увічнюють расистські наративи, та “бот-порнографів”, здатних генерувати екстремістські тексти. Маніпуляції з LLM для нормалізації екстремістських ідей викликають серйозні етичні занепокоєння щодо неконтрольованого використання ШІ. Інші спільноти свідомо використовують моделі з видаленими функціями безпеки або обходять захист DALL-E для масового створення антисемітського контенту.
Хоча вже з’являються дослідження щодо використання ІДІЛ інструментів ШІ для створення візуально привабливої пропаганди, досі бракує глибокого аналізу загальних наслідків застосування ШІ для підвищення операційної ефективності терористичних груп. Особливо мало уваги приділяється тому, як різні джихадистські угруповання використовують ШІ для проведення більш складних інформаційних операцій. Ця стаття покликана заповнити прогалину, розглядаючи два конкретні випадки стратегічного застосування ШІ: один з боку ХАМАС, інший – прихильниками Аль-Каїди та ІДІЛ. Кожен випадок демонструє різні аспекти застосування ШІ, зокрема створення контенту, що спрощує хибні наративи та розширює охоплення і привабливість екстремістських ідеологій.
Випадок 1: ХАМАС та “Армія із підгузків”
Нинішній конфлікт між Ізраїлем та Палестиною став першою війною, де генеративний ШІ активно використовується для підриву довіри до законних ЗМІ та наповнення цифрових платформ фейковим контентом. Ця нова ера пропаганди дозволяє створювати та швидко поширювати неправдиві наративи в безпрецедентних масштабах.
На початку грудня 2023 року Абу Обейда, речник військового крила ХАМАС (визнаного терористичною організацією в багатьох країнах), під час телевізійного брифінгу заявив, що Армія оборони Ізраїлю (ЦАХАЛ) – єдина армія у світі, яка носить підгузки, зокрема “Pampers”. Ця провокаційна заява, спрямована на приниження ізраїльської армії, походить від подібних заяв колишнього командувача Корпусу вартових ісламської революції Ірану Кассема Сулеймані, який у 2017 році натякав, що американська армія видає своїм солдатам підгузки, щоб вони могли “мочитися в них від страху”. Ця риторика, сповнена зневаги, покликана не тільки принизити противника, а й поширити наратив про його боягузтво.
Якщо заяви Сулеймані мали обмежене поширення, то висловлювання ХАМАС знайшли широку аудиторію в соціальних мережах. Їх посиленню сприяла хвиля відео в TikTok, короткі ролики на YouTube та пости в Twitter, що містили згенеровані ШІ зображення та драматизовані аудіо “діпфейки” ізраїльських командирів, які нібито підтверджували правдивість цієї принизливої заяви (Рис. 2-4). Багато з цих публікацій містили хештег #IsraeliDiaperForce, який часто додавали до постів у Instagram великих новинних видань.
Попри очевидну штучність контенту, його захопливий і візуально привабливий характер, ймовірно, зіграв значну роль у широкому поширенні необґрунтованого твердження про те, що солдати ЦАХАЛ носять підгузки, або в загальному уявленні про їхню боягузливість. Цей випадок ілюструє появу “Феномену синтетичного посилення наративів” (SNAP) – еволюціонованої форми вже відомого “дивіденду брехуна”. “Дивіденд брехуна” стверджує, що брехня стає більш правдоподібною в умовах інформаційної невизначеності, спричиненої синтетичними медіа, як-от “діпфейки”. Люди схильні надавати перевагу джерелам, що відповідають їхнім упередженням, а не критично оцінювати наявні докази. SNAP відрізняється від “дивіденду брехуна” тим, що показує, як навіть відверто штучні зображення можуть спрощувати складні наративи до легко засвоюваних, згенерованих ШІ мемів. Це спрощення, ключовий елемент SNAP, перетворює неправдиві наративи на привабливі синтетичні меми, які широко резонують, посилюючи їхню вірусність.
Наратив “Армія із підгузків”, посилений ХАМАС за допомогою контенту, створеного ШІ, є прикладом SNAP. Цей випадок, що виник у контексті ізраїльсько-палестинського конфлікту, підкреслює ключовий зсув у цифровій війні: стратегічне використання генеративного ШІ для створення та поширення пропаганди, застосовуючи чітко ідентифікований контент, згенерований ШІ, для охоплення більшої аудиторії. Перш ніж генеративний ШІ досягне рівня створення контенту, невідрізнюваного від реальності, SNAP вже дає змогу зловмисникам значно формувати громадську думку за допомогою цієї нової технології.
Випадок 2: Цифрові кампанії впливу Аль-Каїди/ІДІЛ через аудіо-діпфейки “нашидів”
З початку 2023 року в онлайн-просторі спостерігається значне зростання кількості надзвичайно переконливих голосових клонів або аудіо-діпфейків відомих особистостей та політиків, що варіюються від абсурдних до сюрреалістичних. Один із популярних прикладів – вірусні відео в TikTok, де Джо Байден і Дональд Трамп ведуть битви у відеоіграх, обговорюючи життя. Ці випадки переважно вважалися нешкідливими та комічними, як сучасне продовження політичних карикатур. Однак цю тенденцію швидко підхопили інші актори, зокрема філії або прихильники таких груп, як Аль-Каїда та ІДІЛ. Протягом останніх кількох місяців на TikTok з’явилася велика кількість контенту, де анімовані версії відомих персонажів, таких як Гомер Сімпсон і Рік Санчез, а також популярні ютубери, як-от PewDiePie та MrBeast, співають “бойові нашиди” – ісламські вокальні музичні твори, традиційно використовувані для мотивації воїнів у бою (Рис. 5-7). Сьогодні ці нашиди адаптовані екстремістськими групами для мобілізації прихильників та прославлення їхніх справ, транслюючи своє послання через цифрові платформи без інструментального супроводу. Деякі з цих відео набрали сотні тисяч переглядів, демонструючи потужний вплив поєднання популярної культури та передових технологій для поширення екстремістських послань.
Стратегічне розгортання екстремістських аудіо-діпфейків нашидів за участю анімованих персонажів та інтернет-персоналій знаменує собою складну еволюцію тактики, яку використовують екстремісти для розширення охоплення свого контенту. Включаючи екстремістські наративи в контент, який імітує тон і стиль популярних розваг, ці відео оминають звичайну перевірку, яка застосовується до таких повідомлень, роблячи ідеологію більш доступною та привабливою для ширшої аудиторії. Цей підхід є особливо хитрим, оскільки він використовує довіру та симпатію глядачів до цих знайомих персонажів, непомітно спонукаючи їх взаємодіяти з творцями контенту та, можливо, підписуватися на них, виходячи з інтересу до персонажів, а не обов’язково визнаючи екстремістські підтексти.
Вибір персонажів у значній частині цього контенту свідчить про те, що творці цих відео націлені на молодшу та більш вразливу аудиторію, яка природно схиляється до мультфільмів та відомих ютуберів. Зовні нешкідливий вигляд контенту в поєднанні з його захопливим і часто гумористичним виконанням збільшує ймовірність того, що молодша аудиторія підпишеться на творців контенту, і, отже, підвищує ймовірність того, що вони зіткнуться з більш екстремістським контентом. Притаманна вірусність цих ШІ-діпфейків забезпечує їхнє швидке поширення на платформах соціальних мереж. Широка доступність технології клонування голосу надала насильницьким групам можливість надати своїм повідомленням шару культурної значущості та залученості, що раніше було поза їхнім досяжненням.
Навігація в новоявленій загрозі ШІ в пропаганді: виклики та запобіжники
Використання генеративного ШІ екстремістськими групами для створення та поширення пропаганди становить складний виклик для команд, що відповідають за довіру та безпеку в соціальних мережах та компаніях, що розробляють ШІ. У контексті цих конкретних інцидентів просте маркування або додавання водяних знаків до контенту, згенерованого ШІ, навряд чи суттєво зменшить ефективність таких кампаній впливу. Приклади, наведені в цій статті, демонструють, що навіть без водяних знаків контент, створений джихадистами за допомогою технологій ШІ, був легко ідентифікований як неавтентичний. Це підкреслює думку про те, що хоча водяні знаки можуть бути корисними інструментами в інших ситуаціях для позначення маніпульованого контенту, вони виявляються недостатніми перед обличчям кампаній, де автентичність контенту не є головним завданням. Зосередженість цих акторів на спрощенні своїх наративів та підвищенні їхньої привабливості робить наявність або відсутність водяних знаків практично несуттєвою для їхніх цілей.
Вирішення проблем, пов’язаних з використанням генеративного ШІ для поширення екстремістської пропаганди, вимагає комплексних дій як від компаній, що розробляють ШІ, так і від соціальних мереж. Це передбачає вихід за межі простих стримуючих заходів, як-от водяні знаки, і впровадження більш складних стратегій для ефективного зменшення загроз.
Для компаній соціальних мереж:
Поява технологій генеративного ШІ створила значний виклик, випустивши лавину контенту, який порушує правила в складний і безпрецедентний спосіб. Щоб ефективно орієнтуватися в цьому ландшафті, вкрай важливо, щоб ці компанії значно посилили свої можливості з розвідки з відкритих джерел (OSINT). Це може бути досягнуто шляхом розвитку власної експертизи або партнерства зі спеціалізованими фірмами, що займаються детальним аналізом онлайн-трендів та поведінки екстремістів. Ці експерти відіграють ключову роль у виявленні вразливостей у системах модерації контенту. Оскільки інструменти генеративного ШІ стають все більш важливими для користувачів, які намагаються обійти правила модерації та створювати шкідливий контент, посилення цих команд стає необхідним. Їхні висновки критично важливі не тільки для вдосконалення моделей модерації ШІ, але й для зміцнення чинних правил.
Для компаній, що розробляють ШІ:
Необхідно пильно відстежувати, як зловмисники можуть обходити засоби захисту або використовувати інструменти ШІ для розпалювання кампаній впливу. Інвестуючи в передовий моніторинг своїх платформ, компанії, що розробляють ШІ, вже вживають проактивних заходів, таких як призупинення акаунтів, що займаються шкідливою діяльністю, обмеження конкретних запитів, що призводять до генерації шкідливого контенту, або впровадження попереджень для користувачів про потенційне зловживання. Однак вони можуть зробити набагато більше, зокрема координувати з компаніями соціальних мереж для організації міжгалузевих вправ “Red Teaming”, які залучають компанії, що розробляють ШІ, платформи соціальних мереж і навіть представників розвідки. Ці вправи моделюватимуть реальні атаки, дозволяючи обговорювати вразливості, захисні заходи та вдосконалення контрзаходів у контрольованому середовищі. Це вже існує в індустрії кібербезпеки, і немає причин, чому цього не може існувати для запобігання інформаційним загрозам. Беручи участь у цих спільних зусиллях, які об’єднують експертизу, зацікавлені сторони можуть розробити комплексне розуміння потенційних загроз ШІ та встановити надійні, колективні засоби захисту.
Для урядів:
Роль урядових органів у цій екосистемі полягає у сприянні інформуванню громадськості через цілеспрямовані освітні ініціативи. Ці зусилля повинні не тільки зосереджуватися на розрізненні реального та фейкового контенту, але й розширюватися, щоб охопити розуміння того, як технології можуть бути використані для зміни сприйняття та поширення дезінформації. Кілька урядів, які зіткнулися з натиском операцій впливу, значно інвестували в ці зусилля, як-от Естонія та Тайвань. Критично важливо, щоб оборонні відомства значно інвестували в подібні зусилля, щоб громадяни могли зрозуміти, як онлайн-динаміка та культура мемів можуть сприяти їхній цифровій грамотності. Пріоритезуючи освіту, яка виходить за межі бінарного “реальне проти фейкового” і заглиблюється в механізми технологічної маніпуляції та її вплив на поширення інформації, суспільства можуть стати більш стійкими до операцій цифрового впливу.