stacked carton recognition

Dataset karton bertumpuk: Eksperimen dengan berbagai model

Repositori ini bekerja dalam proses

SCD: Dataset karton bertumpuk untuk deteksi dan segmentasi

Bahkan sistem manajemen gudang yang paling canggih (WMS) bergantung pada manusia, dan manusia membuat kesalahan. Salah satu keliru yang mengarah pada biaya operasional adalah kesalahan penempatan palet. Pallet yang salah tempat adalah palet yang hilang. WMS menunjukkan lokasinya, tetapi tidak ada di sana. Untuk menemukan palet yang hilang, gudang harus melakukan penghitungan inventaris berkala, yang - jika dilakukan secara manual, mahal dan lambat.

Penghitungan palet manual dapat diganti dengan AI/mL. Langkah-langkah berikut diperlukan untuk mengimplementasikan penghitungan/identifikasi palet yang dibantu AI otomatis:

• Model deteksi objek perlu dilatih/disesuaikan pada dataset kustom palet
• kode batang dan teks perlu dikenali di setiap segmen yang terdeteksi
• Kombinasi barcode dan teks yang diakui perlu dicocokkan dengan indeks judul produk/kode batang/informasi tekstual lainnya/
• Gambar dari setiap palet yang masuk dapat dibuat ketika palet memasuki fasilitas gudang; Dalam hal ini kode batang/informasi tekstual dapat ditingkatkan dengan gambar

Sistem yang dijelaskan di atas dapat dihubungkan ke drone, yang melakukan flightrs otonom/semi-otonom di dalam gudang dan mengirim aliran video atau gambar ke server, yang melakukan deteksi/pengakuan/pencocokan objek.

Repositori ini berisi buku catatan dan kode untuk menyempurnakan dan menggunakan beberapa model. Kami menggunakan dataset karton bertumpuk untuk menyempurnakan model untuk mengenali segmen kotak karton yang ditumpuk di palet di gudang.

Dua gambar di bawah ini menunjukkan contoh gambar dari SCD Dataset:

• tanpa segmen beranotasi
• dengan segmen beranotasi

Tujuan kami adalah untuk menyempurnakan model Florence-2 sehingga memberi anotasi segmen karton pada gambar dengan akurasi maksimum.

Gambar karton bertumpuk yang tidak diatur

Gambar karton bertumpuk beranotasi

Deskripsi singkat tentang buku catatan

Notebook akan ditambahkan saat proyek berlangsung

0_scd_download_explore.ipynb

Dalam buku catatan ini kami mengunduh dataset karton bertumpuk dan menjelajahi isinya

1_scd_create_dataset_ft_detr.ipynb

Dalam buku catatan ini kami membuat informasi yang diperlukan dan membuat 3 kumpulan data berikut:

• train_df
• val_df
• test_df

3_florence_2_zero_shot.ipynb

Dalam buku catatan ini kami menguji kinerja Zero-Shot Florence-2 pada pilihan gambar dari Val_DF. Kita dapat melihat bahwa model menunjukkan akurasi yang cukup masuk akal dan dengan demikian merupakan kandidat yang baik untuk menyempurnakan.

4_fine_tune_rt_detr.ipynb

Dalam buku catatan ini kami menyempurnakan model RT-DET. Sayangnya, kami telah gagal mencapai hasil yang cukup baik dengan model ini.