stacked carton recognition

Conjunto de datos de cartón apilado: experimentos con varios modelos

Este repositorio es trabajo en progreso

SCD: un conjunto de datos de cartón apilado para detección y segmentación

Incluso los sistemas de gestión de almacenes (WMS) más avanzados dependen de los humanos, y los humanos cometen errores. Uno de esos erros que conduce a los costos operativos son las maletas de las paletas. Pallet fuera de lugar es una paleta perdida. WMS muestra su ubicación, pero no está allí. Para encontrar paletas perdidas, los almacenes tienen que realizar un conteo de inventario periódico, que, si se hace manualmente, es costoso y lento.

El conteo manual de paletas se puede reemplazar con AI/ml. Se necesitan los siguientes pasos para implementar el conteo/identificación de paletas asistidos por AI-AI:

• El modelo de detección de objetos debe ser capacitado/ajustado en un conjunto de datos personalizado de paletas
• Los códigos de barras y el texto deben reconocerse en cada segmento detectado
• Una combinación de códigos de barras y texto reconocidos deben coincidir con un índice de títulos de productos/códigos de barras/otra información textual/
• Se puede hacer una imagen de cada paleta entrante cuando una paleta entra en una instalación de almacén; En ese caso, los códigos de barras/información textual se pueden mejorar con las imágenes

El sistema descrito anteriormente se puede conectar a un dron, que realiza FLIGTR autónomos/semiautónomos dentro de un almacén y envía flujo de video o imágenes a un servidor, lo que hace detección/reconocimiento/coincidencia de objetos.

Este repositorio contiene cuadernos y código para ajustar e implementar varios modelos. Estamos utilizando un conjunto de datos de cartón apilado para ajustar el modelo para reconocer segmentos de cajas de cartón apiladas en paletas en almacenes.

Las dos imágenes a continuación muestran un ejemplo de una imagen del conjunto de datos SCD:

• sin segmentos anotados
• con segmentos anotados

Nuestro objetivo es ajustar el modelo Florence-2 para que anote los segmentos de cartón en una imagen con la máxima precisión.

Imagen de cartones apilados no anotados

Imagen de cartones apilados anotados

Breve descripción de los cuadernos

Se agregarán cuadernos a medida que avanza el proyecto

0_scd_download_explore.ipynb

En este cuaderno descargamos el conjunto de datos de cartón apilado y exploramos su contenido

1_scd_create_dataset_ft_detr.ipynb

En este cuaderno hacemos las formaciones tarns necesarias y creamos los siguientes 3 conjuntos de datos:

• Train_DF
• val_df
• test_df

3_FLORENCE_2_ZERO_SHOT.IPYNB

En este cuaderno probamos el rendimiento de Florence-2 de cero disparo en una selección de imágenes de Val_DF. Podemos ver que el modelo muestra una precisión bastante razonable y, por lo tanto, es un buen candidato para el ajuste.

4_fine_tune_rt_detr.ipynb

En este cuaderno, ajustamos el modelo RT-Detr. Desafortunadamente, no hemos logrado lograr resultados suficientemente buenos con este modelo.