stacked carton recognition

堆叠的纸箱数据集：各种模型的实验

这个存储库是在进行中

SCD：一个堆叠的纸箱数据集用于检测和分割

即使是最先进的仓库管理系统（WMS）也取决于人类，而人类犯了错误。导致运营成本的这样的误差之一就是托盘的错位。放错位托盘是丢失的托盘。 WMS显示其位置，但不存在。要查找丢失的托盘，仓库必须进行定期库存计数，如果手动完成，这是昂贵且缓慢的。

托盘的手动计数可以用AI/ML代替。需要以下步骤来实施自动AI辅助托盘计数/标识：

• 对象检测模型需要在托盘的自定义数据集上训练/微调
• 条形码和文本需要在每个检测到的段中识别
• 公认的条形码和文本的组合需要与产品标题/条代码/其他文本信息/其他文本信息的索引相匹配/
• 当托盘进入仓库设施时，可以制作每个传入托盘的图像；在这种情况下，可以通过图像来增强条形码/文本信息

上述系统可以连接到无人机，该无人机在仓库内执行自主/半自治的Flightrs，并将视频流或图像发送到服务器，该服务器确实对象检测/识别/匹配。

该存储库包含笔记本和代码，以微调和部署多种模型。我们正在使用堆叠的纸箱数据集来微调模型，以识别堆放在仓库托盘上的纸箱盒的片段。

下面的两个图像显示了来自SCD数据集的图像的示例：

• 没有注释的段
• 带注释的细分市场

我们的目标是微调Florence-2模型，以便以最高精度在图像上注释纸箱段。

未大肆宣传的纸箱的图像

带注释的堆放纸箱的图像

笔记本的简要说明

随着项目的进行，将添加笔记本

0_scd_download_explore.ipynb

在此笔记本中，我们下载了堆叠的纸箱数据集并探索其内容

1_SCD_CREATE_DATASET_FT_DETR.IPYNB

在此笔记本中，我们进行了必要的破坏信息，并创建以下3个数据集：

• train_df
• val_df
• test_df

3_florence_2_zero_shot.ipynb

在此笔记本中，我们在Val_df的一系列图像中测试零射击佛罗伦萨-2性能。我们可以看到该模型表现出相当合理的精度，因此是进行微调的良好候选人。

4_fine_tune_rt_detr.ipynb

在此笔记本中，我们微调RT-DETR模型。不幸的是，我们未能通过此模型取得足够的成果。