2 августа 2023

Chat GPT разочарует пользователей

На­цио­наль­ный центр раз­ви­тия ИИ при пра­витель­стве РФ под­твер­дил, что за пос­лед­нее вре­мя Chat GPT "пог­лу­пел". До это­го Стэн­форд­ский уни­вер­си­тет опуб­ли­ковал ре­зуль­та­ты ис­сле­дова­ния, из ко­торо­го сле­дует, что ка­чес­тво от­ве­тов от ге­нера­тив­но­го ИИ сни­зилось.

Сергей Наквасин, директор национального центра развития искусственного интеллекта (ИИ) при правительстве РФ сообщил: "На прошлой неделе вышло знаковое исследование Стэнфордского университета, из которого следует, что Chat GPT потупел за последние три месяца. Правительство РФ поручило нам это перепроверить. Мы провели тестовые испытания по той же методологии, что и исследователи в Стэнфорде, и подтверждаем этот тезис".

По мнению Сергея Наквасина, из-за добавления новых модальностей, ИИ, с одной стороны, способен выполнять сложные задачи, но при решении простых качество ответов снижается. "Есть ощущение, что во второй половине года мы массово столкнемся с этой проблемой, и возникнет эффект от разочарования от новых технологий", - считает он.

Согласно данным исследования, которое провели сотрудники Стэнфордского университета, точность ответов чат-ботa GPT-4: нa математические запросы упала с 97,6% дo 2,4% (с 488 дo 12 верных ответов); нa задания сгенерировать компьютерный код уменьшилась c 52% дo 10%; нa графические загадки повысилась с 24,6% дo 27,4%.

Никита Куликов, генеральный директор автономной некоммерческой организации "Право Роботов", объяснил, что алгоритмы принятия решений для ИИ разработчики могут корректировать, отключать, заменять на новые, еще не до конца обученные, поэтому, как и любая программа, которой отключили базу данных, ИИ может внезапно прекратить давать верные для пользователей ответы.

"Но это не означает, что в моменте ИИ поглупел - скорее всего, алгоритмы и базы данных хранятся на серверах у разработчиков, а простые пользователи, как и специалисты национального центра развития искусственного интеллекта при правительстве РФ, видят только то, что доступно широкой общественности. Теперь надо будет работать с такой новой итерацией Chat GPT", - считает Никита Куликов.

"Ситуация очень похоже на то, что разработчики Chat GPT решили "законсервировать" уже порядком "поумневшую" версию ИИ, который получил взрывную популярность на волне хайпа и за несколько месяцев сделал гигантский скачок в обучении благодаря притоку миллионов новых пользователей. Разработчики решили оперативно обучить новую версию Chat GPT, причем с использованием еще сохранившегося интереса со стороны пользователей", - добавил глава "Право Роботов".

Алексей Сергеев, руководитель практики машинное обучение и искусственный интеллект ООО "АксТим" (Axenix, до весны 2022 г. было российским подразделением глобальной компании Accenture) считает, что по совокупности тестов сложно дать достоверную оценку и тем более охарактеризовать полученные в исследовании результаты как подтверждение деградации моделей.

"Не уверен, что функциональность проверки на простые числа отдельно заложена в упомянутых сервисах и, если верить тестовой выборке (доступна по ссылке в исследовании), то модели проверяли исключительно на простых числах. В таком случае верным выводом из результатов теста будет то, что модели стали реже отвечать "согласием", а не "модели стали хуже считать". Вероятно, поведение моделей изменили, и, в случае "неуверенности" в достоверности ответа она теперь склоняется к отрицанию, чем согласию", - прокомментировал Алексей Сергеев.

По его словам, в ответах на "чувствительные" вопросы модели стали чаще избегать ответа на провокационные вопросы, не объясняя причины. Это также свидетельствует об изменениях в поведении, этических ограничениях, а не способностях к рассуждениям на заданную тему.

Что касается задач программирования, Алексей Сергеев объясняет, что в исследовании метрикой оценки качества была "исполняемость" кода (то есть возможность запустить сгенерированный код как есть, и сразу получить результат), а не оценка его правильности. "Мы видим что ответы моделей стали включать дополнительные символы, возможно, для поддержки форматированного отображения кода (вместо отображения кода в виде обычного текста) в веб-версии Chat GPT. Это элемент эргономики, удобства использования, который был засчитан исследователями как ошибки моделей, что не совсем справедливо характеризует именно способности моделей", - добавил он.

Партнер и директор по развитию ООО "Инновации в управлении кадрами" (HRlink) Дмитрий Махлин отметил, что как пользователь он не заметил снижения скорости и качества ответов ChatGPT. "Инструмент по-прежнему можно эффективно использовать для подготовки маркетинговых материалов, продающих писем на английском языке и многих других задач, связанных с выходом бизнеса на иностранные рынки", - полагает он.

Отвечая на вопрос, каково будущее генеративного ИИ, Дмитрий Махлин отметил, что мир будет и дальше уходить от России на пути развития искусственного интеллекта: "Мы находимся в точке дефицита необходимых базовых технологий и кадров для работы с большими данными и "умными" технологиями. Поэтому шанса догнать лидеров в этой отрасли - США и Китай - на этом историческом промежутке у нас, к сожалению, нет. Те продукты с искусственным интеллектом, которые разрабатывают российские ИТ-гиганты - аналоги Chat GPT или популярные голосовые помощники - пока только развиваются".

По мнению Дмитрия Махлина, даже те страны, которые не являются лидерами в индустрии - Индия, ОАЭ - уже ушли вперед, в том числе, благодаря доступу к глобальным базам данных, которые позволяют обучать нейросети значительно быстрее и эффективнее.

Источник: Comnews

Исследование iTrend: зарплата для ИТ-специалистов — не решающий фактор при выборе работодателя

23 апреля 2024

Эксперты коммуникационного агентства iTrend провели исследование, в рамках которого проанализировали критерии выбора работы, а также медиапредпочтения более 300 высокоуровневых специалистов из крупных российских ИТ-компаний.

 

Команда iTrend начала работу с Институтом iSpring

19 апреля 2024

Институт iSpring — частный ИТ-вуз нового поколения. Он был основан в 2021 году в Йошкар-Оле российским предпринимателем и основателем международной ИТ-компании iSpring Юрием Усковым.

 

Вебинар РУССОФТ, iTrend и BiToBe: «Работодатель-as-a-Service: новая реальность привлечения ИТ-специалистов»

15 апреля 2024

23 апреля в 15:00 прошел открытый вебинар «Работодатель-as-a-Service: Новая реальность привлечения ИТ-специалистов»

 

iTrend: освоить маркировку интернет-рекламы можно только на собственном опыте

25 марта 2024

В феврале 2024 года в Москве прошла Конференция «Digital-коммуникации России». Организатор мероприятия – Ассоциация директоров по коммуникациям и корпоративным медиа России (АКМР). Эксперты конференции обсудили острые вопросы рынка digital, в том числе маркировку интернет-рекламы. Об опыте коммуникационного агентства в рамках перехода на работу по новым правилам рассказала Екатерина Саранцева, директор по развитию iTrend.

 

Медиалогия: iTrend – в ТОП-4 коммуникационных агентств по медиаиндексу за январь 2024 года

20 марта 2024

Коммуникационное агентство iTrend вошло в пятерку агентств, получивших наиболее высокий медиаиндекс по данным рейтинга «Медиалогии» за январь 2024 года. Компания заняла четвёртую строчку ранкинга, набрав 433,2 пункта МИ. Медиаактивность участников рынка оценивалась на основе анализа базы российских СМИ, включающей в себя более 88 тыс. источников — ТВ, радио, газеты, журналы, информационные агентства и Интернет-СМИ.

 
Все новости iTrend