stacked carton recognition

Stapelter Karton -Datensatz: Experimente mit verschiedenen Modellen

Dieses Repository ist in Arbeit

SCD: Ein gestapelter Karton -Datensatz zur Erkennung und Segmentierung

Selbst die fortschrittlichsten Lagermanagementsysteme (WMS) sind vom Menschen abhängig, und Menschen machen Fehler. Eines dieser Fehler, das zu Betriebskosten führt, sind die Pallets -Verfügung. Fehlplatzierte Palette ist eine verlorene Palette. WMS zeigt seinen Standort, aber es ist nicht da. Um verlorene Paletten zu finden, müssen Lagerhäuser eine regelmäßige Inventarzählung durchführen, die - wenn man manuell - kostspielig und langsam ist.

Die manuelle Zählung von Paletten kann durch AI/ml ersetzt werden. Die folgenden Schritte sind erforderlich, um automatisierte AI-unterstützte Palettenzählungen/Identifizierung zu implementieren:

• Das Objekterkennungsmodell muss auf einem benutzerdefinierten Palettendatensatz trainiert/fein abgestimmt werden
• Balkencodes und Text müssen in jedem erkannten Segment erkannt werden
• Eine Kombination aus anerkannten Barcodes und Text muss an einen Index von Produkttiteln/Balkencodes/anderen Textinformationen/angepasst werden/
• Ein Bild jeder eingehenden Palette kann gemacht werden, wenn eine Palette in eine Lagereinrichtung eintritt. In diesem Fall können Balkencodes/Textinformationen mit Bildern verbessert werden

Das oben beschriebene System kann mit einer Drohne verbunden werden, die autonome/semi-autonome Flocken in einem Lagerhaus ausführt und Videostrom oder Bilder an einen Server sendet, der die Objekterkennung/-erkennung/-anpassung durchführt.

Dieses Repository enthält Notizbücher und Code, um mehrere Modelle zu optimieren und bereitzustellen. Wir verwenden gestapelter Karton-Datensatz, um das Modell zu fannen, um Segmente von Kartonboxen zu erkennen, die auf Paletten in Lagern gestapelt sind.

Die beiden folgenden Bilder zeigen ein Beispiel für ein Bild aus dem SCD -Datensatz:

• ohne kommentierte Segmente
• mit kommentierten Segmenten

Unser Ziel ist es, das Florence-2-Modell so gut abzustimmen, dass es mit maximaler Genauigkeit Kartonsegmente auf einem Bild kommentiert.

Bild von nicht annotierten gestapelten Kartons

Bild von kommentierten gestapelten Kartons

Kurze Beschreibung der Notizbücher

Notizbücher werden im Verlauf des Projekts hinzugefügt

0_scd_download_explore.ipynb

In diesem Notebook laden wir den gestapelten Karton -Datensatz herunter und untersuchen der Inhalt

1_scd_create_dataset_ft_detr.ipynb

In diesem Notebook erstellen wir die erforderlichen Tarnsformationen und erstellen die folgenden 3 Datensätze:

• train_df
• val_df
• test_df

3_florence_2_zero_shot.ipynb

In diesem Notebook testen wir die Leistung von Null-Shot Florence-2 auf einer Auswahl von Bildern von VAL_DF. Wir können sehen, dass das Modell eine angemessene Genauigkeit aufweist und somit ein guter Kandidat für die Feinabstimmung ist.

4_fine_tune_rt_detr.ipynb

In diesem Notebook feiner RT-DETRT-Modell. Leider haben wir mit diesem Modell nicht genug Ergebnisse erzielt.