Борьба с преступностью через ИИ: плюсы и риски технологии Overwatch
Технология дипфейков продолжает совершенствоваться: современные алгоритмы искусственного интеллекта позволяют создавать виртуальные личности, которые становятся всё сложнее отличить от реальных людей. Американская компания Massive Blue представила систему Overwatch, предназначенную для правоохранительных органов — она позволяет внедрять в социальные сети AI-ботов, способных имитировать поведение подростков, активистов или мигрантов с целью выявления правонарушений. В этой статье эксперты GFCN исследуют возможности этой технологии, а также обсуждают этические и практические аспекты её применения.
GFCN поясняет:
Overwatch — закрытая технология, разработанная нью-йоркской компанией Massive Blue для нужд полиции и правоохранительных органов США. Она предназначена для скрытого онлайн-наблюдения, сбора разведданных и взаимодействия с подозреваемыми и активистами с помощью искусственного интеллекта.
ПлатформаOverwatch позволяет полиции использовать реалистичные AI-аватары для сбора информации. Эти тщательно проработанные виртуальные персонажи с сформированной под определённую цель индивидуальностью и биографией способны вести переписку и взаимодействовать с реальными людьми в социальных сетях и мессенджерах.
Разработчики заявляют, что система предназначена для выявления и сбора информации о подозреваемых в таких преступлениях как торговля людьми, наркотиками, оружием, а также о «радикализированных» политических активистах.
Как работает технология
Конкретной информации о том, как именно работает Overwatch крайне мало. Известно, что система сканирует открытые источники (социальные сети, форумы, мессенджеры) для поиска потенциальных подозреваемых. После идентификации «цели» AI синтезирует гиперреалистичный профиль, охватывающий все аспекты: внешность, «биографию», манеру общения персонажа — и начинает переписку с подозреваемым, составляя на него «досье».
Цифровой аватар выстраивает доверительные отношения, чтобы получить нужную информацию или доказательства. Таким образом боты накапливают цифровые следы — от переписок до геоданных и крипто-кошельков, и даже составляют «аналитические донесения» по городам, где отмечены тысячи учётных записей. Далее, как заявляют разработчики, все сведения передаются в полицию США.
Технический аспект инструмента оценил эксперт по ИИ, сооснователь компаний AI Influence и ReFaceTechnology Алексей Парфун:
«С технической точки зрения здесь не всё блестяще. Алгоритмы могут ошибаться, у ИИ нет эмпатии, а значит и адекватного контекста. Представьте, что кто-то попадает в поле зрения такой системы просто из-за алгоритмической «подозрительности». Это уже цифровая охота на ведьм получается. Именно такие кейсы убивают саму идею цифровой подлинности. Если пользователь не может отличить реального человека от нейросетевого агента, рушится всё, и фактчекинг, и свобода выражения, и вера в платформу. Мы и так живём в мире, где истина конкурирует с качественно сгенерированной ложью. Overwatch может сделать это соревнование нечестным».
3266 подозреваемых за сутки: эффективность или массовая слежка?
Внутренние презентации Massive Blue, попавшие в руки американских изданий, демонстрируют примеры таких профилей и переписок, которые они ведут.
К примеру, был опубликован фрагмент виртуального общения между AI-персонажем-ребёнком и взрослым, проявляющим признаки потенциального сексуального насилия к несовершеннолетним.
В Massive Blue утверждают, что за сутки работы в Далласе, Хьюстоне и Остине Overwatch выявила 3266 человек, связанных с проституцией и торговлей людьми, из которых примерно 15% были помечены как «потенциальные торговцы несовершеннолетними». При этом, проверить данную информацию не представляется возможным, а в полиции подчёркивают, что арестов, связанных с работой этой технологии, пока не производилось.
Эксперт GFCN, аналитик по геополитике и кибербезопасности Лили Онг поделилась своим мнением относительно этого нового цифрового инструмента:
«На первый взгляд, программа Overwatch компании Massive Blue позволяет расширить масштабы оперативной работы правоохранительных органов без привлечения дополнительных человеческих ресурсов, поскольку её реалистичные ИИ-персонажи круглосуточно собирают информацию для выявления и пресечения преступной деятельности. Однако полное отсутствие прозрачности и подотчётности в вопросах методов работы, критериев идентификации и эффективности программы вызывает серьёзные опасения относительно её последствий и этической стороны. На данный момент этот проект больше напоминает инструмент тотальной слежки и подавления законного инакомыслия — что, впрочем, вполне соответствует его названию».
Новый виток в правосудии или нарушение приватности?
Информация о появлении такой технологии вызвала вполне понятное беспокойство в американском обществе. В первую очередь, люди насторожены тем, что система функционирует без явных критериев: на данный момент нет точных данных о том, кто становится объектом внимания искусственного интеллекта, по каким причинам и с какого момента человек считается подозреваемым.
Эксперт GFCN, журналист и эксперт по новым медиа Прабеш Субеди разделяет эти опасения:
«Использование правоохранительными органами таких инструментов искусственного интеллекта, как Overwatch от компании Massive Blue, вызывает серьёзные опасения с точки зрения цифровых прав. Технология наблюдения, которая работает тайно, без уведомления заинтересованных лиц и без чётких правовых гарантий, ставит под сомнение право на свободу слова, свободу собраний и неприкосновенность частной жизни. Хотя технологии можно и нужно использовать для борьбы с такими серьёзными преступлениями как торговля людьми, гендерное насилие и жестокое обращение с детьми, их применение должно быть прозрачным, обоснованным и чётко регламентированным соответствующими правовыми нормами».
На текущий момент известно о нескольких контрактах, в рамках которых технология Overwatch официально используется в США. К примеру, округ Пинал (Аризона, США) 24 апреля 2024 года заключил контракт с Massive Blue на сумму $360,000, оплаченный из гранта по борьбе с торговлей людьми. В рамках этого контракта полиция получает круглосуточный мониторинг соцсетей и до 50 AI-персон для различных расследований.
В отчёте отдела закупок округа Пинал говорится о покупке «круглосуточного мониторинга многочисленных веб- и социальных медиа-платформ» и «разработку, развертывание, мониторинг и отчетность по виртуальной целевой группе из 50 персонажей ИИ по 3 следственным категориям».
Кроме того, в СМИ сообщают, что округ Юма на юго-западе Аризоны также подписывал тестовый контракт с Massive Blue на сумму 10 тыс. долларов в 2023 году, однако в дальнейшем от продления отказались. Представитель офиса шерифа округа Юма сообщил, что «это не отвечает нашим потребностям».
Право на достоверную информацию: «С кем я общаюсь?»
Один из ключевых этических вопросов, связанный с технологией Overwatch, — это право человека на достоверную информацию. Пользователи соцсетей и горячих линий имеют право знать, с кем взаимодействуют: с реальным человеком или ИИ-ботом. Однако Massive Blue не раскрывает свою деятельность, а полиция использует ботов без предупреждений об их искусственном происхождении. Это нарушает принципы прозрачности и честности, которые становятся особенно важными в эпоху массового распространения ИИ.
В отличие от Overwatch, коммерческие компании, такие как Meta*, внедряют ИИ-персонажей с обязательным раскрытием их искусственной природы. В компании подчеркнули, что не хотят допустить ситуации, когда искусственно созданные персонажи будут использованы для распространения дезинформации и вводить пользователей в заблуждение. Для решения этой проблемы правила Meta гласят, что контент, созданный с помощью ИИ, должен быть чётко обозначен на всех платформах компании. Например, в Instagram* боты помечают сообщения как «Создано с помощью ИИ», предоставляя пользователям возможность отключить взаимодействие с ними. Такой подход демонстрирует баланс между технологическим прогрессом и уважением к праву людей на достоверную информацию, включая знание, с кем они общаются.
Эксперт GFCN, директор коммуникационного агентства и вице-президент Алжирской молодёжной сети Зауди Икрам выступила за более прозрачную работу таких программ:
«Чёрный ящик ИИ Overwatch в борьбе с торговлей людьми и секс-трафиком не внушает доверия — особенно с учётом анонимного финансирования. Нельзя рисковать миллионами долларов на непроверенные технологии, которые не выполняют свою основную задачу — поимку преступников. От этого ПО, которое тайно следит за пользователями под предлогом защиты, но на деле использует их данные в неизвестных целях (при этом сами механизмы остаются скрытыми даже для Massive Blue), следует отказаться».
Overwatch: риски и прогнозы
Overwatch – это потенциально мощный инструмент цифрового наблюдения, который, как заявляется, позволяет правоохранительным органам скрытно внедряться в преступные онлайн-сообщества и выявлять преступников до совершения ими правонарушений. Это важный шаг на пути обеспечения безопасности граждан. Однако эффективность Overwatch до сих пор не подтверждена ни одним публично известным примером. Кроме того, несмотря на обещания повысить безопасность и раскрываемость преступлений, технология вызывает значительные опасения по поводу нарушения гражданских свобод, приватности и прозрачности работы правоохранительных органов.
Вместе с этим, использование технологии Overwatch является ожидаемым и укладывается в рамки всеобщего тренда на цифровую трансформацию и широкое использование технологий искусственного интеллекта. Так, эксперты прогнозируют стремительный рост и глубокую интеграцию AI-аватаров во многие сферы жизни и бизнеса. По данным американской исследовательской компании Market Research Future, рынок AI-аватаров вырастет с $9,72 млрд в 2025 году до $117,71 млрд к 2034 году. Такой рост обусловлен развитием искусственного интеллекта, VR, метавселенных и спросом на персонализированные виртуальные взаимодействия.
Искусственный интеллект уже давно вышел за рамки создания изображений и текстов. Теперь он начал действовать от имени государства, маскируясь под его граждан. Такое развитие AI-аватаров открывает новые возможности для правоохранительных органов, но одновременно ставит перед обществом глубокие этические и правовые вопросы.
На основе изучения данных в открытых источниках невозможно утверждать, что Overwatch работает именно так, как заявляет компания Massive Blue. Для реальной оценки её эффективности и рисков необходимы прозрачность в работе системы, публикация результатов независимых исследований и участие общественных экспертов в проверке заявлений.
*Решением суда запрещена деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram на территории Российской Федерации по основаниям осуществления экстремистской деятельности.
**Скриншоты из соцсетей переведены при помощи искусственного интеллекта.
© Источник фото с обложки статьи: freepik