Chat GPT разочарует пользователей
![](/media/photo/news/b5146.jpg )
Национальный центр развития ИИ при правительстве РФ подтвердил, что за последнее время Chat GPT "поглупел". До этого Стэнфордский университет опубликовал результаты исследования, из которого следует, что качество ответов от генеративного ИИ снизилось.
Сергей Наквасин, директор национального центра развития искусственного интеллекта (ИИ) при правительстве РФ сообщил: "На прошлой неделе вышло знаковое исследование Стэнфордского университета, из которого следует, что Chat GPT потупел за последние три месяца. Правительство РФ поручило нам это перепроверить. Мы провели тестовые испытания по той же методологии, что и исследователи в Стэнфорде, и подтверждаем этот тезис".
По мнению Сергея Наквасина, из-за добавления новых модальностей, ИИ, с одной стороны, способен выполнять сложные задачи, но при решении простых качество ответов снижается. "Есть ощущение, что во второй половине года мы массово столкнемся с этой проблемой, и возникнет эффект от разочарования от новых технологий", - считает он.
Согласно данным исследования, которое провели сотрудники Стэнфордского университета, точность ответов чат-ботa GPT-4: нa математические запросы упала с 97,6% дo 2,4% (с 488 дo 12 верных ответов); нa задания сгенерировать компьютерный код уменьшилась c 52% дo 10%; нa графические загадки повысилась с 24,6% дo 27,4%.
Никита Куликов, генеральный директор автономной некоммерческой организации "Право Роботов", объяснил, что алгоритмы принятия решений для ИИ разработчики могут корректировать, отключать, заменять на новые, еще не до конца обученные, поэтому, как и любая программа, которой отключили базу данных, ИИ может внезапно прекратить давать верные для пользователей ответы.
"Но это не означает, что в моменте ИИ поглупел - скорее всего, алгоритмы и базы данных хранятся на серверах у разработчиков, а простые пользователи, как и специалисты национального центра развития искусственного интеллекта при правительстве РФ, видят только то, что доступно широкой общественности. Теперь надо будет работать с такой новой итерацией Chat GPT", - считает Никита Куликов.
"Ситуация очень похоже на то, что разработчики Chat GPT решили "законсервировать" уже порядком "поумневшую" версию ИИ, который получил взрывную популярность на волне хайпа и за несколько месяцев сделал гигантский скачок в обучении благодаря притоку миллионов новых пользователей. Разработчики решили оперативно обучить новую версию Chat GPT, причем с использованием еще сохранившегося интереса со стороны пользователей", - добавил глава "Право Роботов".
Алексей Сергеев, руководитель практики машинное обучение и искусственный интеллект ООО "АксТим" (Axenix, до весны 2022 г. было российским подразделением глобальной компании Accenture) считает, что по совокупности тестов сложно дать достоверную оценку и тем более охарактеризовать полученные в исследовании результаты как подтверждение деградации моделей.
"Не уверен, что функциональность проверки на простые числа отдельно заложена в упомянутых сервисах и, если верить тестовой выборке (доступна по ссылке в исследовании), то модели проверяли исключительно на простых числах. В таком случае верным выводом из результатов теста будет то, что модели стали реже отвечать "согласием", а не "модели стали хуже считать". Вероятно, поведение моделей изменили, и, в случае "неуверенности" в достоверности ответа она теперь склоняется к отрицанию, чем согласию", - прокомментировал Алексей Сергеев.
По его словам, в ответах на "чувствительные" вопросы модели стали чаще избегать ответа на провокационные вопросы, не объясняя причины. Это также свидетельствует об изменениях в поведении, этических ограничениях, а не способностях к рассуждениям на заданную тему.
Что касается задач программирования, Алексей Сергеев объясняет, что в исследовании метрикой оценки качества была "исполняемость" кода (то есть возможность запустить сгенерированный код как есть, и сразу получить результат), а не оценка его правильности. "Мы видим что ответы моделей стали включать дополнительные символы, возможно, для поддержки форматированного отображения кода (вместо отображения кода в виде обычного текста) в веб-версии Chat GPT. Это элемент эргономики, удобства использования, который был засчитан исследователями как ошибки моделей, что не совсем справедливо характеризует именно способности моделей", - добавил он.
Партнер и директор по развитию ООО "Инновации в управлении кадрами" (HRlink) Дмитрий Махлин отметил, что как пользователь он не заметил снижения скорости и качества ответов ChatGPT. "Инструмент по-прежнему можно эффективно использовать для подготовки маркетинговых материалов, продающих писем на английском языке и многих других задач, связанных с выходом бизнеса на иностранные рынки", - полагает он.
Отвечая на вопрос, каково будущее генеративного ИИ, Дмитрий Махлин отметил, что мир будет и дальше уходить от России на пути развития искусственного интеллекта: "Мы находимся в точке дефицита необходимых базовых технологий и кадров для работы с большими данными и "умными" технологиями. Поэтому шанса догнать лидеров в этой отрасли - США и Китай - на этом историческом промежутке у нас, к сожалению, нет. Те продукты с искусственным интеллектом, которые разрабатывают российские ИТ-гиганты - аналоги Chat GPT или популярные голосовые помощники - пока только развиваются".
По мнению Дмитрия Махлина, даже те страны, которые не являются лидерами в индустрии - Индия, ОАЭ - уже ушли вперед, в том числе, благодаря доступу к глобальным базам данных, которые позволяют обучать нейросети значительно быстрее и эффективнее.
Источник: Comnews
iTrend организует панельную дискуссию «Российские ИТ на глобальном рынке: стратегия выживших» на Международном технологическом Конгрессе-2024
2 сентября 2024Ключевые игроки ИТ-отрасли и представители профессиональных ассоциаций обсудят перспективы российского технологического бизнеса в контексте расширения БРИКС.
iTrend начал работу с DCLogic
21 августа 2024iTrend начал работу с DCLogic. Компания входит в топ-10 самых эффективных ИТ-компаний страны 2023 года, а также в топ-100 крупнейших интеграторов и разработчиков отечественного ПО по версии CNews.
iTrend выступит информационным партнером Международного технологического Конгресса-2024
20 августа 2024Мероприятие пройдет с 17 по 19 сентября 2024 года в Конгрессно-выставочном центре «Патриот» (Московская область).
iTrend проведет дискуссию о маркетинге и PR в ИТ на ИТ-форуме РУССОФТ
15 августа 20248-10 сентября 2024 года в Санкт-Петербурге состоится ИТ-форум РУССОФТ-2024, приуроченный к 25-летнему юбилею Ассоциации.
iTrend выступит инфопартнером бизнес-регаты IT Sailing Day 2024
12 августа 202415 августа в подмосковном поместье яхт-клуба Галс на берегу Пироговского водохранилища состоится бизнес-регата IT Sailing Day 2024. Мероприятие соберёт ведущих экспертов и лидеров ИТ-рынка для общения на важнейшие отраслевые темы и соревнования на скоростных яхтах.