stacked carton recognition

쌓인 상자 데이터 세트 : 다양한 모델의 실험

이 저장소는 진행중인 작업입니다

SCD : 감지 및 분할을위한 스택 된 상자 데이터 세트

가장 진보 된 창고 관리 시스템 (WMS)조차도 인간에 의존하고 인간은 오류를합니다. 운영 비용으로 이어지는 이러한 오류 중 하나는 팔레트의 잘못된 분류입니다. 잘못 배치 된 팔레트는 손실 된 팔레트입니다. WMS는 위치를 보여 주지만 거기에는 없습니다. 손실 된 팔레트를 찾으려면 창고는 주기적 인벤토리 계산을 수행해야합니다. 수동으로 완료되면 비용이 많이 들고 느립니다.

팔레트의 수동 계산은 AI/ML로 교체 할 수 있습니다. 자동화 된 AI 지원 팔레트 계산/식별을 구현하려면 다음 단계가 필요합니다.

• 객체 감지 모델은 팔레트의 사용자 정의 데이터 세트에서 훈련/미세 조정해야합니다.
• 각 감지 된 세그먼트에서 바코드와 텍스트를 인식해야합니다.
• 인식 된 바코드와 텍스트의 조합은 제품 제목/바 코드/기타 텍스트 정보의 색인과 일치해야합니다.
• 팔레트가 창고 시설에 들어갈 때 각 들어오는 팔레트의 이미지를 만들 수 있습니다. 이 경우 이미지로 바코드/텍스트 정보를 향상시킬 수 있습니다.

위에서 설명한 시스템은 드론에 연결될 수 있으며, 이는 창고 내부에서 자율적/반 자율적 인 flightrs를 수행하고 비디오 스트림이나 이미지를 서버로 보내 객체 감지/인식/매칭을 제공합니다.

이 저장소에는 여러 모델을 미세 조정하고 배포하기위한 노트북 및 코드가 포함되어 있습니다. 우리는 스택 카톤 데이터 세트를 사용하여 창고의 팔레트에 쌓인 카톤 박스의 세그먼트를 인식하기 위해 모델을 미세 조정하고 있습니다.

아래 두 이미지는 SCD 데이터 세트의 이미지의 예를 보여줍니다.

• 주석이없는 세그먼트없이
• 주석이 달린 세그먼트

우리의 목표는 Florence-2 모델을 미세 조정하여 최대의 정확도로 이미지에 카톤 세그먼트에 주석을 달 수 있도록하는 것입니다.

미등성 스택 상자의 이미지

주석이 달린 쌓인 상자의 이미지

노트북에 대한 간단한 설명

프로젝트가 진행됨에 따라 노트북이 추가됩니다

0_scd_download_explore.ipynb

이 노트북에서 우리는 스택 된 상자 데이터 세트를 다운로드하고 그 내용을 탐색합니다.

1_scd_create_dataset_ft_detr.ipynb

이 노트북에서 우리는 필요한 tarnsformations를 만들고 다음 3 개의 데이터 세트를 만듭니다.

• Train_DF
• val_df
• test_df

3_florence_2_zero_shot.ipynb

이 노트북에서는 Val_DF에서 선택한 이미지에서 Zero-Shot Florence-2 성능을 테스트합니다. 우리는이 모델이 상당히 합리적인 정확도를 보여 주므로 미세 조정을위한 좋은 후보임을 알 수 있습니다.

4_fine_tune_rt_detr.ipynb

이 노트북에서는 RT-Detr 모델을 미세 조정합니다. 불행히도, 우리는이 모델로 충분한 결과를 얻지 못했습니다.