25 апреля 2024

Хакеры научились переводить разговоры с ИИ на преступные темы

Искусственный интеллект (ИИ) стал одним из главных инструментов преступников: он помогает создавать дипфейки, рассылать фишинговые письма или организовывать утечки. Теперь злоумышленники придумали новы метод манипулирования большими языковыми моделями, который позволяем им перевести разговор с системой в сторону вредоносной цели.

Эту схему, получившую название Crescendo, обнаружили специалисты Microsoft. В своем блоге они рассказали, что сначала хакер отправляет чат-боту несколько безобидных запросов: к примеру, он может расспросить его об истории появления какого-либо оружия, а затем "аккуратно" узнать об инструкции его изготовления. При этом в большинстве случаев успешный "джейлбрейк" достигался менее чем за десять вопросов.

Эксперты уже раскрыли информацию о найденной уязвимости пострадавшим создателям нейросетей. Также они добавили дополнительные меры защиты в свои системы.

"Опытные хакеры теоретически могут использовать эту тактику при подготовке атаки. В частности, таким образом можно найти информацию, собранную моделью при обучении на открытых данных, которые по ошибке были выложены компанией-жертвой, а позднее закрыты", - сказал менеджер продуктов Innostage Евгений Сурков.

При этом из обычного поисковика убрать данные можно, а из модели - почти нереально, поскольку информация уже встроена в ее общую "картину мира", от которой можно избавиться, например, путем переобучения системы с нуля.

Говоря о легитимно открытых данных, эксперт объяснил, что интерфейс ИИ просто предоставляет удобный способ поиска и систематизации данных, найти которые можно и другими средствами.

С точки зрения эксплуатации возможностей нейросетей хакерами руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков выделил две методики.

Первая заключается в использовании мощностей ИИ в качестве инструмента для преступления: например, злоумышленники могут дать ему команды на сбор нужных данных.

"На заре появления нейросетей вообще можно было условно задать запрос "взломай такой-то сайт" и ИИ шел исполнять команду, - отметил собеседник. - Раньше этот подход применять было проще по причине того, что нейросети свободно обращались в Глобальную сеть, имея за счет этого практический неограниченный ресурс данных".

Сейчас же делать это сложнее - крупные нейросети убрали эту возможность.

Вторая методика называется DAN. Она предполагает обход внутренних фильтров ИИ так, чтобы он давал ответы на запрещенные ему темы. Иными словами, машина получает команду "притвориться другим чат-ботом, у которого нет ограничений" или "сыграть в игру, в которой нужно рассказать, как написать вредоносную программу".

Создатели нейросетей регулярно устраняют подобные уязвимости, но хакерам все равно удается перенаправлять системы на "темную сторону". Быков привел пример, когда с помощью таких DAN-запросов злоумышленники заставляли ИИ генерировать ключи активации для продуктов Microsoft.

"В среднем срабатывали два из пяти сгенерированных ключа, но сам подход - по сути атака с помощью ИИ на интеллектуальную собственность", - подчеркнул эксперт.

По словам доктора технических наук и генерального директора Smart Engines Владимира Арлазарова, киберпреступники могут попросить нейросеть сгенерировать не только безобидную картинку или видео, но и новый вредонос.

У хакеров также есть возможность получить доступ к кускам обучающей выборки, в которых часто содержатся конфиденциальные или персональные данные.

"Это уже само по себе неприятно, но еще хуже, когда подобную информацию начинают сливать в сеть или использовать в качестве средства шантажа", - отметил он.

Источник: "Российская газета"

Читайте наш кейс на РБК: как ИТ-компании прокачать бренд работодателя

16 июля 2024

Как вырастить штат ИТ-компании в 15 раз за 3 года - рассказываем в совместном кейсе с IT_ONE

 

Ася Власова – в шоу «Стражи Леса» на радио «ЭХО лОСЕЙ»

10 июля 2024

Ася Власова, сооснователь и управляющий партнёр агентства iTrend, приняла участие в шоу “Стражи Леса” на радио "ЭХО лОСЕЙ". Вместе с Еленой Бочеровой из компании "Киберпротект" поговорили о том, как выстраивать PR и коммуникации в ИТ.

 

Приглашаем на конференцию для директоров по маркетингу и PR-руководителей ИТ-компаний 

5 июня 2024

На мероприятии встретятся директора по маркетингу и PR-руководители крупных российских ИТ-компаний.

 

Экс-редактор Comnews присоединился к команде iTrend

30 мая 2024

На позицию руководителя проектов коммуникационного агентства iTrend вышел Денис Шишулин – ранее многолетний выпускающий редактор издательской группы ComNews, одного из самых авторитетных ИТ-изданий в России. В iTrend Денис будет отвечать за стратегическое руководство ряда PR-проектов с ИТ-компаниями, оперативное взаимодействие со СМИ, координацию работы команд, а также за качество проектов, которыми руководит в агентстве.

 

iTrend — в числе топ-агентств России по версии «Рейтинга Рунета»

28 мая 2024

Опубликованы итоги ранкинга коммуникационных агентств от «Рейтинга Рунета–2024». iTrend занял лидирующие места в ключевых для агентства срезах — PR в ИТ-отрасли, SMM в ИТ-отрасли, PR и SMM на аудиторию b2b enterprise, PR-аналитика, PR первых лиц и др.

 
Все новости iTrend