หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ชุดข้อมูลกล่องแบบเรียงซ้อน: การทดลองกับรุ่นต่าง ๆ

ที่เก็บนี้เป็นงานที่กำลังดำเนินอยู่

SCD: ชุดข้อมูลกล่องแบบเรียงซ้อนสำหรับการตรวจจับและแบ่งส่วน

แม้แต่ระบบการจัดการคลังสินค้าที่ทันสมัยที่สุด (WMS) ก็ขึ้นอยู่กับมนุษย์และมนุษย์ก็ทำผิดพลาด หนึ่งใน ERROS ดังกล่าวซึ่งนำไปสู่ค่าใช้จ่ายในการดำเนินงานคือความผิดพลาดของพาเลท พาเลทที่วางผิดที่เป็นพาเลทที่หายไป WMS แสดงตำแหน่งของมัน แต่ไม่ได้อยู่ที่นั่น ในการค้นหาพาเลทที่หายไปคลังสินค้าจะต้องทำการนับสินค้าคงคลังเป็นระยะซึ่งถ้าทำด้วยตนเองจะมีค่าใช้จ่ายสูงและช้า

การนับพาเลทแบบแมนนวลสามารถแทนที่ด้วย AI/ML จำเป็นต้องมีขั้นตอนต่อไปนี้เพื่อใช้การนับ/การระบุตัวตนของ AI AI-ASSISTED อัตโนมัติ:

  • รูปแบบการตรวจจับวัตถุจะต้องได้รับการฝึกอบรม/ปรับแต่งบนชุดข้อมูลที่กำหนดเองของพาเลท
  • บาร์โค้ดและข้อความจะต้องรับรู้ในแต่ละเซ็กเมนต์ที่ตรวจพบ
  • การรวมกันของบาร์โค้ดและข้อความที่ได้รับการยอมรับจะต้องจับคู่กับดัชนีของชื่อผลิตภัณฑ์/บาร์โค้ด/ข้อมูลข้อความอื่น ๆ/ข้อมูลอื่น ๆ/
  • ภาพของพาเลทที่เข้ามาแต่ละอันสามารถทำได้เมื่อพาเลทเข้าสู่โรงงานคลังสินค้า ในกรณีนี้บาร์โค้ด/ข้อมูลข้อความสามารถเพิ่มได้ด้วยรูปภาพ

ระบบที่อธิบายไว้ข้างต้นสามารถเชื่อมต่อกับเสียงพึมพำซึ่งดำเนินการเป็นอิสระ/กึ่งอิสระ flightrs ภายในคลังสินค้าและส่งสตรีมวิดีโอหรือรูปภาพไปยังเซิร์ฟเวอร์ซึ่งทำการตรวจจับ/รับรู้วัตถุ/การจับคู่

ที่เก็บนี้มีโน้ตบุ๊กและรหัสเพื่อปรับแต่งและปรับใช้หลายรุ่น เรากำลังใช้ชุดข้อมูลกล่องแบบเรียงซ้อนเพื่อปรับแต่งโมเดลเพื่อรับรู้เซ็กเมนต์ของกล่องกล่องซ้อนกันบนพาเลทในคลังสินค้า

ภาพสองภาพด้านล่างแสดงตัวอย่างภาพจากชุดข้อมูล SCD:

  • ไม่มีส่วนที่ใส่คำอธิบายประกอบ
  • ด้วยส่วนที่มีคำอธิบายประกอบ

เป้าหมายของเราคือการปรับแต่งรุ่น Florence-2 เพื่อให้มีการใส่คำอธิบายประกอบส่วนกล่องลงในภาพที่มีความแม่นยำสูงสุด

ตัวอย่างภาพที่ไม่มีป้ายกำกับของกล่องแบบเรียงซ้อน

ภาพกล่องซ้อนที่ไม่ได้บันทึกไว้

ตัวอย่างภาพที่มีป้ายกำกับของกล่องซ้อนกัน

รูปภาพของกล่องใส่ชุดคำอธิบายประกอบ

คำอธิบายสั้น ๆ ของสมุดบันทึก

สมุดบันทึกจะถูกเพิ่มเมื่อโครงการดำเนินไป

0_scd_download_explore.ipynb

ในสมุดบันทึกนี้เราดาวน์โหลดชุดข้อมูลกล่องที่ซ้อนกันและสำรวจเนื้อหา

1_scd_create_dataset_ft_detr.ipynb

ในสมุดบันทึกนี้เราสร้าง tarnsformations ที่จำเป็นและสร้างชุดข้อมูล 3 ชุดต่อไปนี้:

  • train_df
  • val_df
  • test_df

3_florence_2_zero_shot.ipynb

ในโน้ตบุ๊กนี้เราทดสอบประสิทธิภาพการทำงานของ Florence-2 เป็นศูนย์ในการเลือกรูปภาพจาก Val_DF เราจะเห็นได้ว่าแบบจำลองแสดงความแม่นยำที่สมเหตุสมผลและเป็นผู้สมัครที่ดีสำหรับการปรับแต่ง

4_fine_tune_rt_detr.ipynb

ในสมุดบันทึกนี้เราปรับโมเดล RT-Detr น่าเสียดายที่เราล้มเหลวในการบรรลุผลลัพธ์ที่ดีพอด้วยรุ่นนี้

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด