stacked carton recognition

Conjunto de caixas de caixa empilhada: experimentos com vários modelos

Este repositório está em andamento

SCD: um conjunto de dados empilhado para detecção e segmentação

Até os sistemas de gerenciamento de armazém mais avançados (WMS) dependem de seres humanos, e os seres humanos cometem erros. Um desses erros que leva a custos operacionais são extrações de paletes. O palete equivocado é um palete perdido. O WMS mostra sua localização, mas não está lá. Para encontrar paletes perdidos, os armazéns precisam realizar a contagem periódica de inventário, que - se feita manualmente, é caro e lenta.

A contagem manual de paletes pode ser substituída por IA/ml. As etapas a seguir são necessárias para implementar contagem/identificação de paletes automatizados, assistidos pela AI::

• O modelo de detecção de objetos precisa ser treinado/ajustado em um conjunto de dados personalizado de paletes
• Códigos de barras e texto precisam ser reconhecidos em cada segmento detectado
• Uma combinação de códigos de barras reconhecidos e texto precisa ser correspondente a um índice de títulos de produtos/códigos de barras/outras informações textuais//
• Uma imagem de cada palete de entrada pode ser feita quando um palete entra em uma instalação de armazém; Nesse caso, códigos de barras/informações textuais podem ser aprimoradas com imagens

O sistema descrito acima pode ser conectado a um drone, que executa FLIGHTRS autônomo/semi-autônomo dentro de um armazém e envia fluxo de vídeo ou imagens para um servidor, que objeta detecção/reconhecimento/correspondência.

Este repositório contém notebooks e codifica-se para ajustar e implantar vários modelos. Estamos usando o conjunto de dados empilhado para ajustar o modelo para reconhecer segmentos de caixas de caixa empilhadas em paletes em armazéns.

As duas imagens abaixo mostram um exemplo de uma imagem do conjunto de dados SCD:

• sem segmentos anotados
• com segmentos anotados

Nosso objetivo é ajustar o modelo Florence-2 para anotar os segmentos de caixa em uma imagem com precisão máxima.

Imagem de caixas empilhadas não anotadas

Imagem de caixas empilhadas anotadas

Breve descrição dos cadernos

Notebooks serão adicionados à medida que o projeto avança

0_SCD_DOWNLOAD_EXPLORE.IPYNB

Neste caderno, baixamos o conjunto de dados empilhados de carton e exploramos seu conteúdo

1_scd_create_dataset_ft_detr.ipynb

Neste caderno, fazemos as formas necessárias e criamos os três conjuntos de dados a seguir:

• TRIN_DF
• val_df
• test_df

3_florence_2_zero_shot.ipynb

Neste caderno, testamos o desempenho de Florence-2 com tiro zero em uma seleção de imagens da Val_DF. Podemos ver que o modelo mostra uma precisão razoável e, portanto, é um bom candidato para o ajuste fino.

4_fine_tune_rt_detr.ipynb

Neste caderno, ajustamos o modelo RT-Detr. Infelizmente, não conseguimos obter resultados bons o suficiente com esse modelo.