stacked carton recognition
1.0.0
SCD：検出とセグメンテーションのための積み重ねられたカートンデータセット
最も先進的な倉庫管理システム（WMS）でさえ、人間に依存し、人間は誤りを犯します。運用コストにつながるそのようなERROの1つは、パレットの誤った配置です。置き忘れたパレットは失われたパレットです。 WMSはその場所を示していますが、そこにはありません。失われたパレットを見つけるために、倉庫は定期的な在庫カウントを実行する必要があります。これは、手動で行われた場合、費用がかかり、遅いです。
パレットの手動カウントは、AI/mLに置き換えることができます。自動化されたAIアシストパレットカウント/識別を実装するには、次の手順が必要です。
上記のシステムは、倉庫内で自律/半自動のフライトルを実行し、ビデオストリームまたは画像をサーバーに送信するドローンに接続できます。
このリポジトリには、いくつかのモデルを微調整および展開するノートブックとコードが含まれています。積み重ねられたカートンデータセットを使用してモデルを微調整して、倉庫のパレットに積み重ねられたカートンボックスのセグメントを認識しています。
以下の2つの画像は、SCDデータセットの画像の例を示しています。
私たちの目標は、Florence-2モデルを微調整して、最大精度で画像にカートンセグメントを注釈することです。
プロジェクトが進行するにつれて、ノートブックが追加されます
0_SCD_DOWNLOAD_EXPLORE.IPYNB
このノートブックでは、積み重ねられたカートンデータセットをダウンロードして、その内容を調べます
1_SCD_CREATE_DATASET_FT_DETR.IPYNB
このノートブックでは、必要なtarnsformationsを作成し、次の3つのデータセットを作成します。
3_florence_2_zero_shot.ipynb
このノートブックでは、VAL_DFの画像の選択でゼロショットFlorence-2パフォーマンスをテストします。モデルがかなり合理的な精度を示しているため、微調整の良い候補であることがわかります。
4_fine_tune_rt_detr.ipynb
このノートブックでは、RT-DERTモデルを微調整します。残念ながら、このモデルで十分な結果を達成できませんでした。
