25 апреля 2024

Хорошая рекомендация – высокоточная рекомендация

Как улучшить работу рекомендательных сервисов, которые предлагают контент, основываясь на наших предпочтениях? Какую роль здесь играет ИИ, и почему, несмотря на все свое развитие, технология все еще ошибается?

Меня зовут Илья Лысенко, я отвечаю за создание и развитие ИИ-сервисов в AdTech-экосистеме Hybrid. В феврале я принял участие в онлайн-дискуссии «ИИ и ML в управлении пользовательским опытом: использование ИИ для анализа поведения». Самыми интересными фактами делюсь в статье.

Начало эволюции

Рекомендательные движки – стандартная составляющая различных контент-платформ. Они помогают выбрать между комедией и драмой, подсказывают нам новинки в мире музыки или советуют ту или иную книгу по итогам анализа истории прочтений. И часто ошибаются, поскольку механизмы искусственного интеллекта (ИИ), на базе которых работают эти советчики, крайне несовершенны.

Применение ИИ для оценки поведенческих особенностей пользователей – проблема сложная, и с ней сегодня знакомы многие, – те, кто разрабатывает онлайн-кинотеатры, стриминговые платформы и другие сервисы, которые оценивают поведение и предпочтения.

Идеала не существует – различные модели по-разному оценивают поведение пользователей, используют собственные алгоритмы анализа и работают с разной же результативностью. Несмотря на то, что такие системы существуют уже много лет, они находятся на начальном этапе развития, а о массовом их внедрении пока не приходится говорить.

Мы переживаем первый этап развития интеллектуальных систем оценки поведения пользователей – период проб и тестирования, первых, скорее тестовых внедрений. Иными словами – такие системы уже существуют, но значительного влияния на бизнес они не оказывают.

И для того, чтобы благодаря таким решениям, бизнес начал получать ощутимую пользу (а лучше – прибыль), они должны серьезно развиваться дальше. В первую очередь с точки зрения совершенствования интеллектуальных моделей, которые оценивают поведение и предпочтения пользователей.

При этом нельзя сказать, что рекомендательные системы на базе ИИ совсем не совершенны. В распоряжении компаний, которые их развивают, уже есть достаточные вычислительные мощности, которые способны обеспечить их работу на определенном уровне. Есть и модели, на базе которых можно проводить эффективный анализ.

Более того, есть даже практические результаты, где такие системы демонстрируют ощутимую эффективность. Но все это не дает пока оснований для того, чтобы назвать, с определенным допущением, рекомендательные ИИ-сервисы достаточно совершенными.

Почему искусственный интеллект ошибается

Различные компании сегодня тестируют несколько алгоритмов искусственного интеллекта в перспективе их бизнес-логики, – результативности при достижении тех или иных показателей. Однако высший порог их эффективности редко превышает 60%. Дело в том, что в зависимости от контента, отличаются и модели его потребления, и основания для оценки привлекательности. К примеру, оценка книг сравнительно простота, – она всегда опирается на мнение одного единственного пользователя, а критерии достаточно легко классифицируются.

В случае с видеоконтентом задача усложняется: пользователи часто смотрят фильмы не в одиночестве, а как минимум вдвоем, и каждый участник просмотра имеет свое мнение о качестве контента и его привлекательности. При этом доступ к этому контенту все пользователи получают в рамках одного сеанса подключения.

Это обстоятельство «ломает» алгоритм оценки. А ведь есть еще редакторская составляющая, требования правообладателей, коммерческое влияние, необходимость четкой классификации пользователей.

Минимизировать влияние этих переменных можно при помощи специальных подборок контента, которые предлагаются пользователям, данные о которых прошли сложную классификацию (ведь даже люди одного возраста достаточно серьезно отличаются по своим контентным предпочтениям).

Именно в рамках таких подборок, – коллекций, витрин контента, – и тестируются алгоритмы рекомендательных сервисов, когда для дальнейшего применения отбираются только те, которые демонстрируют свою эффективность.

Иными словами, в основе несовершенства ИИ-моделей рекомендательных сервисов лежит скорее не технический изъян, а недостаток труда операторов, которые занимаются применением моделей, планированием их развития и оценкой эффективности. Сложность этой работы определяется тем, что оценка пользовательских предпочтений всегда субъективна.

Если механизмы ИИ способны проанализировать предыдущие выборы пользователя, то им недоступна информация о его сегодняшнем настроении, ситуации в семье и на работе. А эти, как и множество других факторов, во многом и определяют выбор контента в конкретный момент, и классифицировать их с абсолютной или хотя бы с высокой точностью практически невозможно.

Еще одна частая причина ошибок – возможные перерывы в использовании сервиса, в которые в жизни пользователя могут происходить различные события, которые отражаются на его ментальном состоянии. При этом события могут быть самыми разными, приятными (свадьба, рождение ребенка) или, наоборот, трагичными. И они могут предопределять состояние человека и его вкусы на очень долгое время.

Конечно, ИИ-модели могут проанализировать множество параметров, от сюжета фильма или книги, концовки, моральных установок автора, даже музыки, используемой в саундтреке или тембра голоса исполнителя. Но все это – данные, касающиеся контента, а не самого человека.

Поэтому для того, чтобы выдавать высокоточные рекомендации, ИИ нужно анализировать не принадлежность пользователя к возрастным или социальным группам, не его вкусы и предпочтения, а всю его текущую жизнь. Что, в принципе, не представляется возможным, – соответствующих данных ни один сервис не получит никогда.

Недостаток данных – основная проблема всех ИИ-моделей, анализирующих пользовательские предпочтения. Отсюда – и ошибки рекомендаций, которые выдают системы

Илья Лысенко, Product Owner Data Science компании Hybrid

Но стоит учитывать тот факт, что любая модель создается исходя из бизнес-потребностей. Если она предназначена для выдачи рекомендаций пользователям, то она будет максимально точной только для той выборки, на которую она ориентирована: молодых мужчин, женщин среднего возраста и т.п. «Неугадываение» предпочтений пользователей такими моделями – скорее исключение. Но оно может быть оправданием только в рамках той бизнес-модели, где используются ИИ-механизмы».

Как повысить эффективность рекомендательных систем

Единственный способ повышения эффективности ИИ-алгоритмов рекомендательных систем – радикальное увеличение объемов данных, которыми они оперируют. Учитывая, что этот объем, находящийся в распоряжении отдельных сервисов, ограничен, сделать это можно только путем обогащения данными из внешних источников.

Такие данные имеются. Тот же «Яндекс» располагает информацией о наших передвижениях (такси, навигация), предпочтениях в еде (служба доставки), покупках (маркетплейс). Данные о покупках имеются и у других многочисленных экосистем и маркетплейсов. Они могут значительно обогатить те массивы, которыми располагают развлекательные интернет-сервисы.

Таким образом, практически единственный возможный путь технологического развития ИИ-сервисов, анализирующих пользовательские предпочтения – работа с большими данными и обогащение ими используемых моделей. Для этого необходимы и соответствующие инструменты, и вычислительные мощности, которые значительно больше тех, что имеются в распоряжении компаний сегодня.

Есть и еще две проблемы – алгоритмы, которые должны быть разработаны для работы с большими данными, и люди, которые эти алгоритмы создают и применяют.

К слову, примерно те же запросы сегодня есть и в оффлайне. Ритейлеры пытаются анализировать поведение покупателей в торговых залах: как они перемещаются, где они останавливаются, как рассматривают выставленный товар, на что обращают внимание и т.п.

При этом игроки розницы находятся примерно в той же самой ситуации, что и интернет-сервисы. Они имеют в своем распоряжении тоже только один срез данных, – данные о покупках, которые совершены участниками программ лояльности.

Означает ли это, что ожидать в обозримом будущем повышения эффективности рекомендательных ИИ-систем не стоит? Нет.

Первая ласточка в развитии таких систем уже появилась: в феврале Amazon запустила консультанта по покупкам, Rufus. Пока он существует в форме чат-бота и доступен не всем покупателям даже на территории США. Но опыт крупнейшего онлайн-ритейлера показывает, что задача использования bigdata в системах искусственного интеллекта для поведенческого анализа и предпочтений вполне реализуема.

Правда, не стоит забывать о том, что Amazon одновременно – один из ведущих облачных провайдеров и может позволить себе использовать собственную инфраструктуру для обогащения и обработки супер-больших массивов данных.

Спонсорство трека, чиллаут-зоны и подобные проекты реализует Яндекс Cloud.

***

Эра рекомендательных систем на базе ИИ обещает значительные преимущества для бизнеса и пользователей, хотя и сталкивается в своем развитии с рядом вызовов.

Бизнес может получать пользу от ИИ-рекомендаций по-разному. Один класс таких инструментов способен просто оптимизировать расходы. Второй - значительно улучшать взаимодействие пользователей с продуктом. Третий также раскрывает новые потребности, которые без применения ИИ оставались бы невыявленными и неудовлетворенными.

По мере накопления данных и развития технологий, ИИ-движки будут только совершенствоваться, предлагая все более точные и персонализированные рекомендации.

Сотрудничество различных отраслей для обмена данными и разработка новых подходов к обработке больших объемов информации откроют новые горизонты для ИИ в предвосхищении и удовлетворении потребностей рынка, принося значительную пользу бизнесу и конечным пользователям.

Источник: VC.ru

 
 

Исследование iTrend: зарплата для ИТ-специалистов — не решающий фактор при выборе работодателя

23 апреля 2024

Эксперты коммуникационного агентства iTrend провели исследование, в рамках которого проанализировали критерии выбора работы, а также медиапредпочтения более 300 высокоуровневых специалистов из крупных российских ИТ-компаний.

 

Команда iTrend начала работу с Институтом iSpring

19 апреля 2024

Институт iSpring — частный ИТ-вуз нового поколения. Он был основан в 2021 году в Йошкар-Оле российским предпринимателем и основателем международной ИТ-компании iSpring Юрием Усковым.

 

Вебинар РУССОФТ, iTrend и BiToBe: «Работодатель-as-a-Service: новая реальность привлечения ИТ-специалистов»

15 апреля 2024

23 апреля в 15:00 прошел открытый вебинар «Работодатель-as-a-Service: Новая реальность привлечения ИТ-специалистов»

 

iTrend: освоить маркировку интернет-рекламы можно только на собственном опыте

25 марта 2024

В феврале 2024 года в Москве прошла Конференция «Digital-коммуникации России». Организатор мероприятия – Ассоциация директоров по коммуникациям и корпоративным медиа России (АКМР). Эксперты конференции обсудили острые вопросы рынка digital, в том числе маркировку интернет-рекламы. Об опыте коммуникационного агентства в рамках перехода на работу по новым правилам рассказала Екатерина Саранцева, директор по развитию iTrend.

 

Медиалогия: iTrend – в ТОП-4 коммуникационных агентств по медиаиндексу за январь 2024 года

20 марта 2024

Коммуникационное агентство iTrend вошло в пятерку агентств, получивших наиболее высокий медиаиндекс по данным рейтинга «Медиалогии» за январь 2024 года. Компания заняла четвёртую строчку ранкинга, набрав 433,2 пункта МИ. Медиаактивность участников рынка оценивалась на основе анализа базы российских СМИ, включающей в себя более 88 тыс. источников — ТВ, радио, газеты, журналы, информационные агентства и Интернет-СМИ.

 
Все новости iTrend