21 марта 2023

Чат-бот тревоги нашей

Деятельность ChatGPT – чат-бота с искусственным интеллектом – может обострить ситуацию в сфере информационной безопасности (ИБ) и в перспективе сделать беспомощными департаменты киберзащиты компаний, считают некоторые эксперты. Но возможности приложения не так безграничны, как может показаться. Эксперт по ИБ компании Axenix (экс-Accenture) Евгений Качуров объясняет, почему паника, спровоцированная выпуском ChatGPT, преждевременна и неуместна.

ПОДОБЕН ЧЕЛОВЕКУ

Чат-бот, созданный на базе языковой модели LLM (Large Language Model) GPT-3 от компании OpenAI, в настоящее время стал одной из самых обсуждаемых реализаций технологии искусственного интеллекта (ИИ). После его появления основная тональность разговоров профессионального IT-сообщества балансирует на грани паники:

«ТЕПЕРЬ-ТО УЖ ТОЧНО ИИ ЗАМЕНИТ ЛЮДЕЙ, ОТМЕНИТ ПОЛОВИНУ ПРОФЕССИЙ, ОБНУЛИТ ЗНАНИЯ И ОПЫТ МИЛЛИОНОВ СПЕЦИАЛИСТОВ!»

Действительно, приложение способно общаться с людьми на естественном языке примерно на том же уровне, что и настоящий человек, причем развитый интеллектуально, образованный и компетентный. Например, ChatGPT прошел тестирование на программиста Google и мог претендовать на должность специалиста начального уровня.

В основе ChatGPT лежит мощный движок обработки и генерации естественного языка (NLP/NLG). Он позволяет демонстрировать отличные показатели при решении задач написания текстов по предварительному заданию, созданию кода на языках программирования, голосовому общению и даже сочинению поэм. Поэтому у чат-бота широчайший спектр применения: сферы клиентского обслуживания, создания контента, программирования, а также функционал цифрового помощника.

ЩИТ И МЕЧ

В сфере кибербезопасности мощные ИИ-алгоритмы способны стать и щитом в руках ИБ-специалистов, и оружием нападения в руках злоумышленников.

Так, ChatGPT уже применяется в кибератаках. Это происходит несмотря на вшитые в движок «предохранители» типа распознавания «запретных слов», с помощью которых можно попытаться заставить приложение написать программу-вымогатель или другой вредоносный софт.

Кроме того,

ИИ МОЖНО ИСПОЛЬЗОВАТЬ ДЛЯ ЗАДАЧ СОЦИАЛЬНОЙ ИНЖЕНЕРИИ ИЛИ ФИШИНГА

Их нейросеть решает быстро и убедительно, масштабируя объемы обмана и персонализируя атаки под конкретного пользователя или группу. Также приложение поможет обойти фильтры защиты, которые настроены на выявление роботов.

Причем это только базовый набор мошеннических опций. Кроме прочего, ИИ способен обманывать жертву, переписываясь с ней и выдавая себя за человека. Для этого используется текст из взломанной почты.

С одной стороны, все перечисленные сценарии достаточно реальны и опасны. С другой – эти риски, а также общее влияние высокоразвитого ИИ на вопросы безопасности следует воспринимать с оговорками, которые несколько снижают общий градус паники.

Пока даже самые совершенные алгоритмы не в состоянии понять, насколько хорошо или успешно они выполняют задачу. Они не могут выявить дефекты в своем процессе и не способны придумать по-настоящему творческое решение проблемы.

ПОЭТОМУ ИИ ПОКА МОЖЕТ СЛУЖИТЬ КАК ИНСТРУМЕНТ ДЛЯ РЕШЕНИЯ НЕБОЛЬШИХ ПРОБЛЕМ, А КОМПЛЕКСНЫЕ, СЛОЖНЫЕ И ДАЖЕ РИСКОВЫЕ ЗАДАЧИ ДОЛЖЕН РЕШАТЬ САМ ЧЕЛОВЕК

Человеческим уровнем понимания контекста задачи нейросеть пока не обладает. Например, конкретно у ChatGPT знания о событиях в мире после 2021 года ограниченны, то есть весомую часть текущего контекста машина просто не уловит. Кроме того, сами разработчики чат-бота подтверждают, что он может давать логичные, но совершенно не верные ответы.

В процессе написания программ нейросеть может создавать достойные образцы простого утилитарного кода под множество типичных задач. Однако здесь мощь алгоритмов снова корректируется силой контекста: компьютерный мозг не осознает требования IT-архитектуры и не понимает, в какой ландшафт создаваемый код будет встраиваться.

НЕТ ЭМПАТИИ – НЕТ РЕЗУЛЬТАТА

К примеру, ИИ-алгоритм по запросу руководства компании в конце года собрал и проанализировал информацию, затем выдал рекомендации по развитию бизнеса, которые предполагают значительные затраты. В частности, все доходы организации предложено вложить в перспективный проект, а также взять инвестиционный кредит.

С точки зрения логики цифр и вводных данных, которые обработал компьютер, все верно. Но это будет вывод, оторванный от реалий жизни, который может нести риски. Если топ-менеджмент последует совету искусственного интеллекта и возьмет кредит вместо выплат бонусов и повышений зарплат ценным кадрам, то потеряет лояльность сотрудников.

При этом формально нейросеть будет права – рекомендации рассчитаны абсолютно верно. Однако машина не учитывает нюансы, которые становятся фатальными при более широком взгляде на ситуацию.

У КОМПЬЮТЕРА ВСЕ ЕЩЕ НЕТ ЭМПАТИИ И СПОСОБНОСТЕЙ СЧИТЫВАТЬ КРИТИЧЕСКИ ВАЖНЫЕ ТОНКОСТИ

Как быстро вы доверитесь такси под управлением нейросети? Готовы ли вы полностью доверить свою жизнь искусственному интеллекту на оживленной автомагистрали или с человеком надежнее?

В кибербезопасности эта тема проявляется так: у нас есть привычные механизмы и алгоритмы, встроенные в средства защиты информации. Но что, если мы пойдем дальше?

Готовы ли мы поручить ИИ проводить тестирование на проникновения, рискованные для бизнеса, которые могут повлечь нарушение доступности бизнес-сервисов или утечку данных? Готовы ли довериться информации об уязвимостях, которые обнаружил ИИ?

НА ПРАКТИКЕ РЕЗУЛЬТАТЫ ДАЖЕ САМЫХ ИНТЕЛЛЕКТУАЛЬНЫХ СКАНИРОВАНИЙ ПРОВЕРЯЕТ ЧЕЛОВЕК

В целом пока волноваться не стоит. Полного доверия к машине, с точки зрения ее способности принимать сложные осознанные решения, пока нет и быть не должно.

Источник: Rspectr.com

Клиенты iTrend — в числе лучших ИТ-работодателей России

13 февраля 2024

Клиенты коммуникационного агентства iTrend вошли в рейтинг лучших ИТ-работодателей страны по версии HeadHunter. В сегменте «IT и интернет» были отмечены технологическая корпорация VK, консалтинговая компания Axenix (ранее Accenture), а также компании IT_ONE, Innostage и «Эдит Про» (группа «Борлас»).

 

iTrend начал работу с одним из лидеров в области высокотехнологичных разработок для Интернет-рекламы — компанией Hybrid

16 января 2024

Компанией Hybrid занимает 2 место в рейтинге Программатических закупок в интернете от AdIndex.

 

iTrend займется личным брендингом ИТ-предпринимателей

15 января 2024

Мы запустили новое направление в агентстве — личный брендинг топ-менеджеров и предпринимателей в ИТ.

 

Российские ИТ в эпоху санкционных войн - точки роста и проблемы: вышла наша обзорная статья

7 января 2024

Материал подготовлен специально для авторитетного журнала "Россия в глобальной политике".

 
Все новости iTrend