Full Text

Введение. На сегодняшний день весьма актуален вопрос сортировки бытовых отходов населения. Наша команда занимается одним из возможных вариантов решения данной проблемы - разработкой Reverse vending machine (дословно «обратный торговый автомат», автомат по приёму тары, RVM). Это автомат, позволяющий людям возвращать пустые контейнеры для напитков (бутылки из полиэтилентерефталата (ПЭТФ) и алюминиевые банки) для переработки. Принцип работы автомата основан на возврате конечному пользователю суммы, эквивалентной стоимости сданной тары. Это и делает его «реверсивным» торговым автоматом - вместо того, чтобы получать контейнер с содержимым за деньги, пользователь получает деньги за сданную тару. Одни из первых автоматов по приёму тары (аппаратно-программный комплекс «Фандомат») появились на улицах Москвы в 2004 г. «Фандомат» представлял собой корпус, в котором размещены отсек распознавания с устройством, собирающим информацию о распознаваемом предмете (сканер штриховых кодов), идентификация тары происходит путем сканирования штрихового кода (штрихкода) на этикетке тары и сравнения его с базой принимаемых контейнеров (в базе около 30 тыс. штрихкодов). К недостаткам их устройства можно отнести низкую скорость принятия решения и отсутствие возможности принятия деформированной тары из-за невозможности считывания штрихкода. Эти проблемы было предложено решить за счёт изменения принципа распознавания - распознавание внешнего вида тары с помощью видеокамер и нейронной сети. Нейронная сеть обучается на фотографиях банок и ПЭТ-бутылок (ПЭТ - полиэтилентерефталат) различных форм и определяет основные функции, необходимые для классификации. Благодаря этой особенности любое новое изображение ПЭТ-бутылки может быть идентифицировано как совокупный класс ПЭТ-бутылок, если контейнер обладает соответствующими свойствами. Банки обрабатываются аналогичным образом. Даже если контейнер механически поврежден и имеет нестандартную форму, то он может быть идентифицирован как один из описанных классов [1]. Согласно тестам распознавание тары при помощи нейронных сетей является более быстрым по сравнению с заявленными характеристиками «Фандомата». В ходе тестирования автомата была настроена нейронная сеть, способная идентифицировать тару по 3 классам - «бутылка ПЭТФ», «алюминиевая банка», «другое» [2, 3]. Но чтобы быть конкурентно способным на рынке RVM, автомат должен иметь возможность более точной идентификации производителя контейнера, так как производители часто заключают контракты на переработку своей тары [4, 5]. Поэтому было принято решение о разработке модификации предложенного отсека распознавания. В качестве уникального (для каждого производителя) идентификатора был выбран штрихкод, так как он не изменяется в течение продолжительного времени для конкретных товаров любого производителя. Этикетку (бумажная наклейка на ПЭТФ-бутылке или окрашенная боковая поверхность алюминиевой банки) производители часто меняют в угоду осовременивания дизайна контейнеров, что требует частого технического обслуживания автомата для обновления базы образов распознаваемых классов, что негативно может отразиться на итоговой себестоимости и эксплуатционных расходах автомата и приведёт к нерентабельности данного проекта. Использование штрихового кода для идентификации возможно с применением используемых камер и нейронной сети. Однако нужно сохранить преимущества работы нашего автомата («любое новое изображение ПЭТФ-бутылки или алюминиевой банки может быть идентифицировано как совокупный класс, если контейнер обладает соответствующими свойствами», и «механически поврежденный контейнер, имеющий нестандартную форму, или без некоторых частей может быть идентифицирован как один из описанных классов»). Поэтому для работы со штрихкодами необходимо решить две задачи, которые будут являться дополнительными к разработанной модели: - поиск и распознавание информации штрихкода; - восстановление информации повреждённого штрихового кода. 1. Поиск и распознавание штрихового кода. Штрихкод - графическая информация о товаре в виде последовательности штрихов и пробелов различной ширины и нескольких цифр, расположенных под ними (пример представлен на рис. 1). Код наносится на поверхность самого изделия, на этикетку или упаковку. Он содержит информацию о товаре и его производителе. Рис. 1. Пример штрихкода EAN-13 Рис. 2. Пример распознавания 13-разрядного европейского штрихкода EAN-13 Штрихкод размещается в пространстве, которое слева и справа ограничено 3 штрихами - два темных и один светлый между ними (101). Между ними с помощью модулей зашифровано 13 цифр (для EAN-13). Общее число модулей, используемых для записи, - 84. Пространство, занятое самим штрихкодом, делится на две группы - левую и правую, по 6 цифр в каждой. Эти группы разделяются специальной средней разделительной полосой, которая состоит из 5 модулей - 3 светлых и 2 темных (код 01010). Каждая цифра штрих-кода кодируется 7 модулями. Система кодировки сделана так, чтобы каждая цифра изображалась только 4 утолщенными штрихами. Благодаря этому вся метка штрихкода будет состоять из 29 светлых и 30 тёмных модулей, включая ограждающие и среднюю разделительную полосы. Задача считывания штрихового кода заключается либо в распознавании модулей, либо цифр под ними. Существует достаточно большой ряд алгоритмов, позволяющих проводить данные манипуляции. Это могут быть как специализированные библиотеки (Zbar), так и нейронные сети. ZBar - это библиотека с открытым исходным кодом для считывания штрихкодов как из видеопотока, так и из отдельных изображений. На рис. 2 приведён пример распознавания штрихкода. Программа может отобразить рамки распознанного штрихового кода и вывести считанную информацию. Полученная числовая последовательность проверяется на соответствие акционной базе. В случае обнаружения совпадения автоматом принимается решение о выдаче вознаграждения. Иной подход можно реализовать в нейронных сетях. На данный момент существует уже много решений, позволяющих считывать печатные символы (в том числе и на базе TensorFlow, применяемой в нашем автомате [1-3]). Задача же считывания модулей заключается в написании алгоритма, выполняющего предварительную разметку изображения штрихового кода, и дальнейшем сопоставлении участков с их возможными значениями. Алгоритм разметки опирается на боковые ограничивающие модули, высчитывая их единичную ширину. На вход нейронной сети поступает последовательность фрагментов изображения, на которых должен находиться модуль (из-за искривленной поверхности тары фрагмент может содержать в себе фрагменты соседних модулей). Происходит определение того, насколько фрагмент соответствует цвету модуля, выстраивается последовательность распознанных значений (в виде комбинации 0 и 1). На следующем этапе анализируется написание групп модулей для определения расположения штрихового кода в пространстве (штрихкод может быть перевернут, но особенности кодирования позволяют это определить) и вычисления первой цифры. Далее по группам модулей распознаются остальные цифры кода. Однако подобные решения очень требовательны к качеству считываемого изображения: не должно быть лишних деталей, штрихкод должен быть расположен в фокусе, быть достаточно большим [6]. Данную проблему можно решить двумя путями: - нанести с внешней стороны на тароприёмник маркировку, указывающую пользователю линию в пространстве, где должен находиться штриховой код помещённой тары; - сделать автоматическую подсистему нахождения штрихкода на таре. Первый подход достаточно прост, но может вызвать ряд неудобств у пользователя, чем вызовет негативное отношение к проводимой акции. Второй подход осложнён тем, что размещение штрихкода на таре не регламентировано, и потому производитель может его разместить в любом месте и под любым углом к оси вращения тары. Кроме того, внешний вид тоже может быть видоизменён (примеры представлены на рис. 3). Однако штрихкоды всегда помещаются на белом прямоугольном фоне. Этот признак можно использовать для усовершенствования работы предложенного алгоритма. Рис. 3. Примеры нестандартных вариантов штрихкода EAN-13 Для этой части задачи логично использовать быстрый и нетребовательный алгоритм. В его работе допустимы ошибки, так как он выполняет только грубый поиск объекта на изображении. Поэтому был выбран алгоритм поиска на основе каскадов Хаара, который выполняет поиск прямоугольного белого объекта с полосками [7-11]. 2. Восстановление информации повреждённого штрихового кода. Другой проблемой данного подхода может быть невозможность считывания штрихкода из-за его повреждений (загрязнение, царапины, надрывы и тому подобное). Длч решения этой проблемы можно применить 3 метода восстановления: - восстановление за счёт избыточности; - восстановление с некоторой долей вероятности за счёт «угадывания»; - восстановление с некоторой долей вероятности за счёт аналитического расчёта. При восстановлении за счёт избыточности, в случае, когда не удаётся считать информацию из модулей или цифр, можно применить совместное распознавание. Данное решение не требует значительного увеличения объёма памяти и времени обработки. Скрипты запуска считывания будут запускаться последовательно друг за другом, обрабатывая одно и то же изображение, полученное по средствам иерархического поиска. Получаемый результат не будет носить вероятностный характер, однако действенен только в случаях, когда в коде имеется неповреждённая группа модулей, соответствующая повреждённой цифре, или, наоборот, - неповреждённая цифра, соответствующая повреждённой группе модулей. В противном случае восстановление невозможно и необходимо применять один из двух других методов, дающих вероятностный ответ. При восстановлении за счёт «угадывания» происходит распознавание нейронной сетью составных частей штрихового кода (модулей или цифр), как уже было описано выше, но с большим отклонением в вероятности распознавания. Другими словами, применяется мажоритарная система, выносящая вердикт о распознаваемом объекте на основе процента похожести объекта на распознаваемые классы. Очевидно, что повреждённая цифра 8 будет иметь достаточно большую корреляцию с классами «0», «6» и «8» и более низкую со всеми остальными (для модулей аналогично, но с определением цвета - «тёмный» и «светлый»). Таким образом, система получит несколько вариантов штрихкода, которые возможны и требуют дополнительной проверки. Проверка может выполняться либо по обнаружению одного из вариантов кода в базе (обнаружение с большой вероятностью ошибки), либо по расчёту контрольной суммы штрихкода и сравнения её с последней цифрой (более защищённый от ошибок способ, но требующий значительно больше вычислительных мощностей). При восстановлении за счёт аналитического расчёта происходит вычисление возможных вариантов штрихкода на основе контрольной цифры, как и в варианте проверки штрихового кода выше, однако он реализуем, только когда контрольная цифра не повреждена. Для этого рассчитывается контрольная сумма известных чисел и проверяется на совпадение с контрольной цифрой в конце кода. Оставшиеся (не распознанные цифры) рассчитываются на основе разницы первых двух полученных значений. Подобный метод может давать как единственное возможное решение, так и набор возможных кодов, удовлетворяющих условиям. Дальнейшая проверка сводится к сопоставлению полученных кодов с базой. 3. Алгоритм иерархического распознавания штрихкода. Суть модификации автомата по приёму тары заключается в поэтапном иерархическом уточнении информации [12-16] о распознаваемой таре. Конструкция приёмного отделения автомата будет оснащена валиком для поворота принятой тары (в горизонтальном исполнении отсека) или поворотной площадкой (в вертикальном исполнении отсека). Алгоритм распознавания преобразуется к следующему виду: 1) процесс обнаружения тары в отсеке распознавания и фиксация её формы являются начальным шагом в данном алгоритме. До того момента, пока автомат не обнаружит предмет в отсеке распознавания, он находится в режиме ожидания [2, 3]; 2) проверка принадлежности тары к одному из классов («бутылка ПЭТФ» или «алюминиевая банка»). Данная проверка проводится нейронной сетью [1-3]. Если распознаваемый объект имеет слишком малый процент принадлежности к описанным классам, то он возвращается пользователю, а автомат на дисплее отображает соответствующую информацию и возвращается к шагу 1; 3) если в классе, определённом на шаге 2, нет тары, принимаемой на особых условиях, то автомат перемещает распознанную тару в отсек хранения и выдаёт пользователю соответствующую информацию, переходя к шагу 1. В обратном случае автомат переходит к шагу 4, запуская дополнительный этап иерархического распознавания, описываемый в данной статье; 4) происходит плавное вращение тары в отсеке распознавания для создания комплексного изображения боковой поверхности тары путём программной склейки изображений узких участков поверхности, находящихся перед видеокамерой (для минимизации искривлений на итоговом изображении); 5) с помощью каскадов Хаара на изображении, полученном на шаге 4, выделяются области, соответствующие искомым признакам (прямоугольный белый объекта с полосами контрастного цвета внутри). Пример такого грубого поиска продемонстрирован на рис. 4; 6) отмеченные области (их может быть несколько на одном образце тары из-за особенностей графического дизайна), полученные на шаге 5, передаются системе для распознавания. В случае если штрихкод распознан как повреждённый, происходит попытка его восстановления и сопоставления с базой для принятия решения о выдаче вознаграждения. В случае успешного считывания правильного штрихового кода автомат принимает решение о принятии акционной тары. Пользователю сообщается о принятии таковой тары и выдаётся вознаграждение. В случае, если распознанный штрихкод не соответствует ни одному из хранимых в базе акционной тары, то тара принимается так же, как описано в шаге 3. Далее автомат возвращается к шагу 1. Рис. 4. Пример грубого поиска штрихкода на упаковке тары Данный подход актуален для условий ограниченных вычислительных мощностей микроконтроллера, применяемого в автомате [1, 17-20]. Он позволяет избежать большого количества операций по распознаванию штрихкода в случае, если бы применялся режим поиска штрихкода в реальном времени, заменяя их единичными вызовами простых алгоритмов. Происходит экономия ресурсов памяти, так как наиболее ресурсоёмкая часть (распознавание штрихкода) выполняется не над большим комплексным изображением боковой поверхности тары, а над его отдельными фрагментами. Последний факт также положительно отражается на эффективности и времени распознавания. Недостатками данного подхода являются усложнение конструкции отсека распознавания механизмом вращения тары и необходимость затраты дополнительного времени на вращение тары. Этот недостаток можно устранить, применив систему зеркал, дающих камере обзор на тару со всех сторон в боковой проекции. Однако в таком случае возникнет проблема очистки данных зеркал от возможного загрязнения. Поэтому описанный подход считается применимым для автомата по распознаванию тары. Выводы. Разработанный алгоритм позволяет выполнить задачу повышения конкурентоспособности автомата по приёму тары за счёт внедрения функции идентификации акционной тары. Реализация этого алгоритма вписывается в концепцию разработанного автомата и не требует дополнительных вычислительных мощностей. Подобная модернизация позволит повысить культуру утилизации бытовых отходов у рядового городского жителя за счёт более привлекательных акций по сравнению с обычным вознаграждением за утилизацию пустого контейнера.

About the authors

A. I Tur

Perm National Research Polytechnic University

A. N Kokoulin

Perm National Research Polytechnic University

A. V Dzygar

OOO “FacePass”

References

Statistics

Views

Abstract - 65

PDF (Russian) - 24

Refbacks

• There are currently no refbacks.