25 апреля 2024

Хакеры научились переводить разговоры с ИИ на преступные темы

Искусственный интеллект (ИИ) стал одним из главных инструментов преступников: он помогает создавать дипфейки, рассылать фишинговые письма или организовывать утечки. Теперь злоумышленники придумали новы метод манипулирования большими языковыми моделями, который позволяем им перевести разговор с системой в сторону вредоносной цели.

Эту схему, получившую название Crescendo, обнаружили специалисты Microsoft. В своем блоге они рассказали, что сначала хакер отправляет чат-боту несколько безобидных запросов: к примеру, он может расспросить его об истории появления какого-либо оружия, а затем "аккуратно" узнать об инструкции его изготовления. При этом в большинстве случаев успешный "джейлбрейк" достигался менее чем за десять вопросов.

Эксперты уже раскрыли информацию о найденной уязвимости пострадавшим создателям нейросетей. Также они добавили дополнительные меры защиты в свои системы.

"Опытные хакеры теоретически могут использовать эту тактику при подготовке атаки. В частности, таким образом можно найти информацию, собранную моделью при обучении на открытых данных, которые по ошибке были выложены компанией-жертвой, а позднее закрыты", - сказал менеджер продуктов Innostage Евгений Сурков.

При этом из обычного поисковика убрать данные можно, а из модели - почти нереально, поскольку информация уже встроена в ее общую "картину мира", от которой можно избавиться, например, путем переобучения системы с нуля.

Говоря о легитимно открытых данных, эксперт объяснил, что интерфейс ИИ просто предоставляет удобный способ поиска и систематизации данных, найти которые можно и другими средствами.

С точки зрения эксплуатации возможностей нейросетей хакерами руководитель направления сервисов защиты облачного провайдера "НУБЕС" Александр Быков выделил две методики.

Первая заключается в использовании мощностей ИИ в качестве инструмента для преступления: например, злоумышленники могут дать ему команды на сбор нужных данных.

"На заре появления нейросетей вообще можно было условно задать запрос "взломай такой-то сайт" и ИИ шел исполнять команду, - отметил собеседник. - Раньше этот подход применять было проще по причине того, что нейросети свободно обращались в Глобальную сеть, имея за счет этого практический неограниченный ресурс данных".

Сейчас же делать это сложнее - крупные нейросети убрали эту возможность.

Вторая методика называется DAN. Она предполагает обход внутренних фильтров ИИ так, чтобы он давал ответы на запрещенные ему темы. Иными словами, машина получает команду "притвориться другим чат-ботом, у которого нет ограничений" или "сыграть в игру, в которой нужно рассказать, как написать вредоносную программу".

Создатели нейросетей регулярно устраняют подобные уязвимости, но хакерам все равно удается перенаправлять системы на "темную сторону". Быков привел пример, когда с помощью таких DAN-запросов злоумышленники заставляли ИИ генерировать ключи активации для продуктов Microsoft.

"В среднем срабатывали два из пяти сгенерированных ключа, но сам подход - по сути атака с помощью ИИ на интеллектуальную собственность", - подчеркнул эксперт.

По словам доктора технических наук и генерального директора Smart Engines Владимира Арлазарова, киберпреступники могут попросить нейросеть сгенерировать не только безобидную картинку или видео, но и новый вредонос.

У хакеров также есть возможность получить доступ к кускам обучающей выборки, в которых часто содержатся конфиденциальные или персональные данные.

"Это уже само по себе неприятно, но еще хуже, когда подобную информацию начинают сливать в сеть или использовать в качестве средства шантажа", - отметил он.

Источник: "Российская газета"

Исследование iTrend: зарплата для ИТ-специалистов — не решающий фактор при выборе работодателя

23 апреля 2024

Эксперты коммуникационного агентства iTrend провели исследование, в рамках которого проанализировали критерии выбора работы, а также медиапредпочтения более 300 высокоуровневых специалистов из крупных российских ИТ-компаний.

 

Команда iTrend начала работу с Институтом iSpring

19 апреля 2024

Институт iSpring — частный ИТ-вуз нового поколения. Он был основан в 2021 году в Йошкар-Оле российским предпринимателем и основателем международной ИТ-компании iSpring Юрием Усковым.

 

Вебинар РУССОФТ, iTrend и BiToBe: «Работодатель-as-a-Service: новая реальность привлечения ИТ-специалистов»

15 апреля 2024

23 апреля в 15:00 прошел открытый вебинар «Работодатель-as-a-Service: Новая реальность привлечения ИТ-специалистов»

 

iTrend: освоить маркировку интернет-рекламы можно только на собственном опыте

25 марта 2024

В феврале 2024 года в Москве прошла Конференция «Digital-коммуникации России». Организатор мероприятия – Ассоциация директоров по коммуникациям и корпоративным медиа России (АКМР). Эксперты конференции обсудили острые вопросы рынка digital, в том числе маркировку интернет-рекламы. Об опыте коммуникационного агентства в рамках перехода на работу по новым правилам рассказала Екатерина Саранцева, директор по развитию iTrend.

 

Медиалогия: iTrend – в ТОП-4 коммуникационных агентств по медиаиндексу за январь 2024 года

20 марта 2024

Коммуникационное агентство iTrend вошло в пятерку агентств, получивших наиболее высокий медиаиндекс по данным рейтинга «Медиалогии» за январь 2024 года. Компания заняла четвёртую строчку ранкинга, набрав 433,2 пункта МИ. Медиаактивность участников рынка оценивалась на основе анализа базы российских СМИ, включающей в себя более 88 тыс. источников — ТВ, радио, газеты, журналы, информационные агентства и Интернет-СМИ.

 
Все новости iTrend