24 мая 2023

Как нейросети упрощают бизнесу работу с документами

Нейросети и технологии машинного обучения сегодня на пике спроса и популярности. Используются они для распознавания текстов и объединены общим названием — Optical Character Recognition (OCR). Как они работают, какие документы умеют распознавать и почему этот процесс стоит доверить именно нейросетям? 

Распознать все (но не сразу)

Нейросеть может распознать практически любой текст. Но лучше всего технология работает с печатными текстами высокого разрешения — от 300 dpi. При этом документ должен быть ровно сфотографирован или отсканирован, в нем не должно быть засветов, помятостей, пропусков и других искажений.

На проектах по распознаванию наша команда часто сталкивается с запросами заказчиков на оцифровку рукописных текстов. Они по-прежнему встречаются в банковском секторе (различные анкеты, опросники и так далее), страховой сфере, образовании (бланки ЕГЭ). С ними нейросети пока справляются не так легко. Технология совершенствуется на протяжении последних 5–6 лет, но все еще нет настолько хорошо обученных нейронных сетей, распознающих рукописный текст со 100%‑ной точностью. Кроме того, он бывает разным, что тоже добавляет сложностей.

Например, почерк инженера-конструктора, который вручную заполняет чертежи, система распознает довольно легко, так как он приближен к печатному тексту, содержит одинаковые межбуквенные интервалы, а все буквы похожи на один и тот же шрифт. А вот почерк обычного человека нейросетям распознать иногда сложно, так как он содержит большое количество соединений между буквами и распознать нейросетью их трудно. Как и знаменитый «нечитаемый» почерк врачей. Поэтому, если человек не может визуально распознать, что написано, то нейросеть с этой задачей тоже не справится.

Мы как-то решили протестировать одно из решений по распознаванию текстов и отсканировали написанную мной страницу, а пишу я не самым разборчивым почерком. Итог — система «сломалась», миссия оказалась для нее невыполнимой.

Зачем доверять распознавание нейросетям

Они это делают быстрее, не допускают ошибок и самое главное — сокращают трудозатраты на обработку документов. Например, если бухгалтер вручную вносит данные из первичной бухгалтерской документации, то делает это в разы медленнее решения на базе искусственного интеллекта и рискует допустить ошибки.

Платформы по распознаванию на основе нейросетей могут обрабатывать до сотен тысяч документов в сутки. Объемы зависят от мощности вычислительных ресурсов.

Для максимального ускорения процесса и миграции данных используются не только нативные интеграции, но и программные роботы. Они помогают в автоматическом режиме переносить данные из системы распознавания в учетную систему компании или электронный архив.

Кроме того, роботы могут проверять документы на подлинность. Сначала нейросеть распознает в договоре карточку контрагента, а затем робот сверяет данные с различными ресурсами или другими документами.

Что умеют нейросети 

Помимо простого распознавания для дальнейшего переноса данных в другие системы, нейросети способны:

  • распознавать наличие артефактов (штампы, печати) для понимания юридической силы документа;
  • искать сущности и сверять их актуальность;
  • определять комплектность документа по атрибутам. Система помогает проверить юридическую силу всего комплекта и его целостность, определяет тип документов, ищет экземпляры, которые требуют ручной обработки, а также выполняет кросс-проверку.

Кроме того, решения на основе нейросетей могут извлекать метаданные и сущности из документа и сверять их со справочниками.

Как это работает

Первый шаг — ввод документов. Это может быть выгрузка электронных версий из «горячей» папки в систему или бумажных экземпляров в сканер. Именно на этом этапе можно проверять полноту комплекта. Если какого-то документа не хватает, система сама попросит его догрузить.

Второй шаг — обработка документов. Нейросеть извлекает данные, проверяет наличие необходимых атрибутов, корректности расчётов и т. д. Третий шаг — верификация данных. На этом этапе проверяется корректность всей информации. Если нейросеть не распознала полностью документ, она отправляет данные человеку на ручную корректировку.

Четвертый шаг — экспорт документов. Например, в систему учета или архив.

Кейсы из практики

У заказчика в общий центр обслуживания поступало порядка 100 тысяч документов в месяц. Для обработки использовалась система распознавания всего потока документов, процесс выполнялся непосредственно на сервере, не контролировался пользователями и отсутствовал этап верификации. Для переноса документов в архив было необходимо проверять, как заполнились их карточки. Ключевыми пользователями системы были сотрудники склада, бухгалтерия, HR, администрация и отдельные группы менеджеров.

После внедрения нового решения процесс удалось выстроить иначе. Теперь 95% документов попадают в архив без распознавания, так как сначала система считывает штрих-код и QR-код пакетов документов. Далее распознавание происходит по заранее подготовленным шаблонам. На верификацию отправляются те документы, которые требуют внимания специалиста.

Время обработки документов сократилось с пяти минут до одной минуты на один документ. Если раньше надо было открыть карточку, документы и сверить с нераспознанными, то сейчас это делается автоматически. Также были оптимизированы расходы.

В одном из вузов требовалось внедрить систему распознавания для анализа наличия подписей и печатей в документах. Ранее учебное заведение использовало решение, которое просто регистрировало документацию и выгружало в архив без проверки. Из-за этого часть документов архивировалась без нужных атрибутов, что в дальнейшем приводило к спорным ситуациям с контрагентами и долгим поискам необходимого бланка.

В ходе проекта была создана нейронная сеть для анализа наличия подписей и печатей в документах. Также проверку прошел весь ранее сформированный архив. Точность распознавания составляет сейчас порядка 96%.

Кроме того, для работы с документами используются программные роботы. Трудозатраты сотрудников университета сократились в 5 раз, а риск возникновения каких-либо споров с контрагентами сведен к минимуму.

***

Несмотря на то, что сейчас все компании стараются уходить от бумажного документооборота, системы для распознавания по-прежнему актуальны и нужны. Нейросети помогают бизнесу ускорять рабочие процессы, обрабатывать и проверять документы. А так как системы постоянно совершенствуются, то в перспективе нас ждет повышение процента постоянной точности распознавания, в том числе рукописных текстов.

Автор: Владислав Чернецкий, менеджер по развитию бизнеса ИТ-решений компании Konica Minolta Business Solutions Russia
Источник: Инвест-Форсайт

Читайте наш кейс на РБК: как ИТ-компании прокачать бренд работодателя

16 июля 2024

Как вырастить штат ИТ-компании в 15 раз за 3 года - рассказываем в совместном кейсе с IT_ONE

 

Ася Власова – в шоу «Стражи Леса» на радио «ЭХО лОСЕЙ»

10 июля 2024

Ася Власова, сооснователь и управляющий партнёр агентства iTrend, приняла участие в шоу “Стражи Леса” на радио "ЭХО лОСЕЙ". Вместе с Еленой Бочеровой из компании "Киберпротект" поговорили о том, как выстраивать PR и коммуникации в ИТ.

 

Приглашаем на конференцию для директоров по маркетингу и PR-руководителей ИТ-компаний 

5 июня 2024

На мероприятии встретятся директора по маркетингу и PR-руководители крупных российских ИТ-компаний.

 

Экс-редактор Comnews присоединился к команде iTrend

30 мая 2024

На позицию руководителя проектов коммуникационного агентства iTrend вышел Денис Шишулин – ранее многолетний выпускающий редактор издательской группы ComNews, одного из самых авторитетных ИТ-изданий в России. В iTrend Денис будет отвечать за стратегическое руководство ряда PR-проектов с ИТ-компаниями, оперативное взаимодействие со СМИ, координацию работы команд, а также за качество проектов, которыми руководит в агентстве.

 

iTrend — в числе топ-агентств России по версии «Рейтинга Рунета»

28 мая 2024

Опубликованы итоги ранкинга коммуникационных агентств от «Рейтинга Рунета–2024». iTrend занял лидирующие места в ключевых для агентства срезах — PR в ИТ-отрасли, SMM в ИТ-отрасли, PR и SMM на аудиторию b2b enterprise, PR-аналитика, PR первых лиц и др.

 
Все новости iTrend