visual question answering finetuning

填充模型以执行特定领域的视觉问题回答

通过使用Amazon Sagemaker和Amazon Bedrock微调视觉语言模型（VLM）来生成时尚产品描述

该存储库使用生成AI（Genai）来实现机器学习培训和推理团，以基于提供的图像来回答问题。存在预训练的模型以实现此类任务，但是它们是a）无法适应特定领域的方案 - 因此，为什么我们需要微调和b）不显示将部署到生产环境中的能力。

为了解决这个问题，这篇文章通过对使用Amazon SageMaker的时尚数据集上的VLM（视觉语言模型）微调VLM（视觉语言模型），展示了如何从产品图像中提取特定域的产品属性，然后使用Amazon Bedrock使用提取的属性作为输入来生成产品描述。

有关此存储库的详细演练，请参阅我们的博客文章。

数据和用例

该存储库中使用的数据取自Kaggle时尚图像数据集，我们尝试求解的用户酶正在为电子商务网站生成这些时尚产品的字幕，这一任务在历史上一直很耗时。高质量的产品描述通过搜索引擎优化（SEO）提高可搜索性，并通过允许他们做出明智的决策来提高客户满意度。

视觉语言模型

该存储库中的模型列出是Blip-2模型，更具体地说，是使用Flan-T5-XL的变体。

下图说明了Blip-2的概述：

解决方案概述

该解决方案可以分为两个部分，在下面的成就中被标记为绿色和蓝色：a）绿色和b）蓝色推断。

微调

1. 数据将在S3存储桶中下载
2. 数据的一个子集用于使用萨格人培训工作来微调模型
3. 然后将微型模型人工制品存储在S3存储桶中以用于推断

推理

1. S3上的模型伪像是通过SageMaker端点旋转的
2. 然后将端点带有一个问题，并返回包含相关产品属性的类似JSON的响应
3. 然后，响应将带有预定义的提示并旁边的亚马逊基岩，该提示在返回之前将响应格式化。

安全

有关更多信息，请参见贡献。

执照

该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。