21 марта 2023

Чат-бот тревоги нашей

Деятельность ChatGPT – чат-бота с искусственным интеллектом – может обострить ситуацию в сфере информационной безопасности (ИБ) и в перспективе сделать беспомощными департаменты киберзащиты компаний, считают некоторые эксперты. Но возможности приложения не так безграничны, как может показаться. Эксперт по ИБ компании Axenix (экс-Accenture) Евгений Качуров объясняет, почему паника, спровоцированная выпуском ChatGPT, преждевременна и неуместна.

ПОДОБЕН ЧЕЛОВЕКУ

Чат-бот, созданный на базе языковой модели LLM (Large Language Model) GPT-3 от компании OpenAI, в настоящее время стал одной из самых обсуждаемых реализаций технологии искусственного интеллекта (ИИ). После его появления основная тональность разговоров профессионального IT-сообщества балансирует на грани паники:

«ТЕПЕРЬ-ТО УЖ ТОЧНО ИИ ЗАМЕНИТ ЛЮДЕЙ, ОТМЕНИТ ПОЛОВИНУ ПРОФЕССИЙ, ОБНУЛИТ ЗНАНИЯ И ОПЫТ МИЛЛИОНОВ СПЕЦИАЛИСТОВ!»

Действительно, приложение способно общаться с людьми на естественном языке примерно на том же уровне, что и настоящий человек, причем развитый интеллектуально, образованный и компетентный. Например, ChatGPT прошел тестирование на программиста Google и мог претендовать на должность специалиста начального уровня.

В основе ChatGPT лежит мощный движок обработки и генерации естественного языка (NLP/NLG). Он позволяет демонстрировать отличные показатели при решении задач написания текстов по предварительному заданию, созданию кода на языках программирования, голосовому общению и даже сочинению поэм. Поэтому у чат-бота широчайший спектр применения: сферы клиентского обслуживания, создания контента, программирования, а также функционал цифрового помощника.

ЩИТ И МЕЧ

В сфере кибербезопасности мощные ИИ-алгоритмы способны стать и щитом в руках ИБ-специалистов, и оружием нападения в руках злоумышленников.

Так, ChatGPT уже применяется в кибератаках. Это происходит несмотря на вшитые в движок «предохранители» типа распознавания «запретных слов», с помощью которых можно попытаться заставить приложение написать программу-вымогатель или другой вредоносный софт.

Кроме того,

ИИ МОЖНО ИСПОЛЬЗОВАТЬ ДЛЯ ЗАДАЧ СОЦИАЛЬНОЙ ИНЖЕНЕРИИ ИЛИ ФИШИНГА

Их нейросеть решает быстро и убедительно, масштабируя объемы обмана и персонализируя атаки под конкретного пользователя или группу. Также приложение поможет обойти фильтры защиты, которые настроены на выявление роботов.

Причем это только базовый набор мошеннических опций. Кроме прочего, ИИ способен обманывать жертву, переписываясь с ней и выдавая себя за человека. Для этого используется текст из взломанной почты.

С одной стороны, все перечисленные сценарии достаточно реальны и опасны. С другой – эти риски, а также общее влияние высокоразвитого ИИ на вопросы безопасности следует воспринимать с оговорками, которые несколько снижают общий градус паники.

Пока даже самые совершенные алгоритмы не в состоянии понять, насколько хорошо или успешно они выполняют задачу. Они не могут выявить дефекты в своем процессе и не способны придумать по-настоящему творческое решение проблемы.

ПОЭТОМУ ИИ ПОКА МОЖЕТ СЛУЖИТЬ КАК ИНСТРУМЕНТ ДЛЯ РЕШЕНИЯ НЕБОЛЬШИХ ПРОБЛЕМ, А КОМПЛЕКСНЫЕ, СЛОЖНЫЕ И ДАЖЕ РИСКОВЫЕ ЗАДАЧИ ДОЛЖЕН РЕШАТЬ САМ ЧЕЛОВЕК

Человеческим уровнем понимания контекста задачи нейросеть пока не обладает. Например, конкретно у ChatGPT знания о событиях в мире после 2021 года ограниченны, то есть весомую часть текущего контекста машина просто не уловит. Кроме того, сами разработчики чат-бота подтверждают, что он может давать логичные, но совершенно не верные ответы.

В процессе написания программ нейросеть может создавать достойные образцы простого утилитарного кода под множество типичных задач. Однако здесь мощь алгоритмов снова корректируется силой контекста: компьютерный мозг не осознает требования IT-архитектуры и не понимает, в какой ландшафт создаваемый код будет встраиваться.

НЕТ ЭМПАТИИ – НЕТ РЕЗУЛЬТАТА

К примеру, ИИ-алгоритм по запросу руководства компании в конце года собрал и проанализировал информацию, затем выдал рекомендации по развитию бизнеса, которые предполагают значительные затраты. В частности, все доходы организации предложено вложить в перспективный проект, а также взять инвестиционный кредит.

С точки зрения логики цифр и вводных данных, которые обработал компьютер, все верно. Но это будет вывод, оторванный от реалий жизни, который может нести риски. Если топ-менеджмент последует совету искусственного интеллекта и возьмет кредит вместо выплат бонусов и повышений зарплат ценным кадрам, то потеряет лояльность сотрудников.

При этом формально нейросеть будет права – рекомендации рассчитаны абсолютно верно. Однако машина не учитывает нюансы, которые становятся фатальными при более широком взгляде на ситуацию.

У КОМПЬЮТЕРА ВСЕ ЕЩЕ НЕТ ЭМПАТИИ И СПОСОБНОСТЕЙ СЧИТЫВАТЬ КРИТИЧЕСКИ ВАЖНЫЕ ТОНКОСТИ

Как быстро вы доверитесь такси под управлением нейросети? Готовы ли вы полностью доверить свою жизнь искусственному интеллекту на оживленной автомагистрали или с человеком надежнее?

В кибербезопасности эта тема проявляется так: у нас есть привычные механизмы и алгоритмы, встроенные в средства защиты информации. Но что, если мы пойдем дальше?

Готовы ли мы поручить ИИ проводить тестирование на проникновения, рискованные для бизнеса, которые могут повлечь нарушение доступности бизнес-сервисов или утечку данных? Готовы ли довериться информации об уязвимостях, которые обнаружил ИИ?

НА ПРАКТИКЕ РЕЗУЛЬТАТЫ ДАЖЕ САМЫХ ИНТЕЛЛЕКТУАЛЬНЫХ СКАНИРОВАНИЙ ПРОВЕРЯЕТ ЧЕЛОВЕК

В целом пока волноваться не стоит. Полного доверия к машине, с точки зрения ее способности принимать сложные осознанные решения, пока нет и быть не должно.

Источник: Rspectr.com

Приглашаем на конференцию для директоров по маркетингу и PR-руководителей ИТ-компаний 

5 июня 2024

На мероприятии встретятся директора по маркетингу и PR-руководители крупных российских ИТ-компаний.

 

Экс-редактор Comnews присоединился к команде iTrend

30 мая 2024

На позицию руководителя проектов коммуникационного агентства iTrend вышел Денис Шишулин – ранее многолетний выпускающий редактор издательской группы ComNews, одного из самых авторитетных ИТ-изданий в России. В iTrend Денис будет отвечать за стратегическое руководство ряда PR-проектов с ИТ-компаниями, оперативное взаимодействие со СМИ, координацию работы команд, а также за качество проектов, которыми руководит в агентстве.

 

iTrend — в числе топ-агентств России по версии «Рейтинга Рунета»

28 мая 2024

Опубликованы итоги ранкинга коммуникационных агентств от «Рейтинга Рунета–2024». iTrend занял лидирующие места в ключевых для агентства срезах — PR в ИТ-отрасли, SMM в ИТ-отрасли, PR и SMM на аудиторию b2b enterprise, PR-аналитика, PR первых лиц и др.

 

Исследование iTrend: зарплата для ИТ-специалистов — не решающий фактор при выборе работодателя

23 апреля 2024

Эксперты коммуникационного агентства iTrend провели исследование, в рамках которого проанализировали критерии выбора работы, а также медиапредпочтения более 300 высокоуровневых специалистов из крупных российских ИТ-компаний.

 

Команда iTrend начала работу с Институтом iSpring

19 апреля 2024

Институт iSpring — частный ИТ-вуз нового поколения. Он был основан в 2021 году в Йошкар-Оле российским предпринимателем и основателем международной ИТ-компании iSpring Юрием Усковым.

 
Все новости iTrend