stacked carton recognition

Сложный набор данных коробки: эксперименты с различными моделями

Этот репозиторий работает в процессе работы

SCD: набор данных с укладками для обнаружения и сегментации

Даже самые передовые системы управления складами (WMS) зависят от людей, а люди допускают ошибки. Одной из таких ошибок, которая приводит к эксплуатационным затратам, является ошибки поддонов. Неуместный поддон - потерянный поддон. WMS показывает свое местоположение, но его нет. Чтобы найти потерянные поддоны, склады должны выполнять периодический подсчет запасов, который - если это сделано вручную, является дорогостоящим и медленным.

Ручное подсчет поддонов можно заменить на AI/мл. Необходимы следующие шаги для реализации автоматического подсчета/идентификации поддонов:

• Модель обнаружения объектов должна быть обучена/настраивалась на пользовательском наборе данных поддонов
• Штрих -коды и текст должны быть распознаны в каждом обнаруженном сегменте
• Комбинация распознанных штрих -кодов и текста должна быть сопоставлена ​​с индексом названий продуктов/штрих -кодов/другой текстовой информации/
• Изображение каждого входящего поддона может быть сделано, когда поддон попадает на склад; В этом случае штрих -коды/текстовая информация можно улучшить с помощью изображений

Описанная выше система может быть подключена к беспилотнику, который выполняет автономные/полуавтономные белки внутри склада и отправляет видеопоток или изображения на сервер, который выполняет обнаружение/распознавание/распознавание объектов.

Этот репозиторий содержит тетради и код для точной настройки и развертывания нескольких моделей. Мы используем набор данных картонной картоны, чтобы точно настроить модель для распознавания сегментов коробок картонных коробок, сложенных на поддонах на складах.

Два изображения ниже показаны пример изображения из набора данных SCD:

• без аннотированных сегментов
• с аннотированными сегментами

Наша цель-тонко настроить модель Florence-2, чтобы она аннотировала сегменты картонных картонных сегментов на изображении с максимальной точностью.

Изображение нездоровых сложенных коробок

Изображение аннотированных сложенных коробок

Краткое описание ноутбуков

Ноутбуки будут добавлены по мере продвижения проекта

0_SCD_Download_explore.ipynb

В этой записной книжке мы загружаем набор данных Carton Carton и исследуем его содержимое

1_SCD_CREATE_DATASET_FT_DETR.IPYNB

В этой записной книжке мы делаем необходимые тарнсформации и создаем следующие 3 набора данных:

• train_df
• val_df
• test_df

3_florence_2_zero_shot.ipynb

В этой ноутбуке мы тестируем ноль-выстрел Флоренции-2 на выборе изображений из val_df. Мы видим, что модель показывает довольно разумную точность и, таким образом, является хорошим кандидатом на точную настройку.

4_fine_tune_rt_detr.ipynb

В этой ноутбуке мы точно настроем модель RT-DETR. К сожалению, нам не удалось достичь достаточно хороших результатов с этой моделью.