stacked carton recognition

Ensemble de données de carton empilé: expériences avec divers modèles

Ce référentiel est en cours

SCD: un ensemble de données de carton empilé pour la détection et la segmentation

Même les systèmes de gestion des entrepôts les plus avancés (WMS) dépendent des humains et les humains font des erreurs. L'un de ces erres qui conduit à des coûts opérationnels est le mal des palettes. La palette mal placée est une palette perdue. WMS montre son emplacement, mais il n'est pas là. Pour trouver des palettes perdues, les entrepôts doivent effectuer des comptes d'inventaire périodiques, qui - s'ils sont faits manuellement, sont coûteux et lents.

Le comptage manuel des palettes peut être remplacé par AI / ML. Les étapes suivantes sont nécessaires pour implémenter le comptage / identification des palettes assistées par AI automatisées:

• Le modèle de détection d'objet doit être formé / affiné sur un ensemble de données personnalisés de palettes
• Les codes à barres et le texte doivent être reconnus dans chaque segment détecté
• Une combinaison de codes à barres et de texte reconnus doit être adapté à un index des titres de produit / codes à barres / autres informations textuelles /
• Une image de chaque palette entrante peut être faite lorsqu'une palette entre dans un entrepôt; Dans ce cas, les codes à barres / informations textuelles peuvent être améliorées avec des images

Le système décrit ci-dessus peut être connecté à un drone, qui effectue des flightrs autonomes / semi-autoniques à l'intérieur d'un entrepôt et envoie un flux vidéo ou des images à un serveur, qui fait la détection / reconnaissance / correspondance d'objets.

Ce référentiel contient des cahiers et du code pour affiner et déployer plusieurs modèles. Nous utilisons un ensemble de données de carton empilé pour affiner le modèle pour reconnaître les segments de boîtes de carton empilées sur des palettes dans les entrepôts.

Les deux images ci-dessous montrent un exemple d'une image de l'ensemble de données SCD:

• sans segments annotés
• avec des segments annotés

Notre objectif est de faire affiner le modèle Florence-2 afin qu'il annote les segments de carton sur une image avec une précision maximale.

Image de cartons empilés non annotés

Image des cartons empilés annotés

Brève description des cahiers

Les cahiers seront ajoutés au fur et à mesure que le projet progresse

0_scd_download_explore.ipynb

Dans ce cahier, nous téléchargeons un ensemble de données de carton empilé et explorons son contenu

1_scd_create_dataset_ft_detr.ipynb

Dans ce cahier, nous fabriquons les Tarnsformations nécessaires et créons les 3 ensembles de données suivants:

• train_df
• val_df
• test_df

3_florence_2_zero_shot.ipynb

Dans ce cahier, nous testons les performances de Florence-2 zéro-shot sur une sélection d'images de VAL_DF. Nous pouvons voir que le modèle montre une précision assez raisonnable et est donc un bon candidat pour le réglage fin.

4_fine_tune_rt_detr.ipynb

Dans ce cahier, nous affinons le modèle RT-Dett. Malheureusement, nous n'avons pas réussi à obtenir des résultats suffisamment bons avec ce modèle.