visual question answering finetuning

填充模型以執行特定領域的視覺問題回答

通過使用Amazon Sagemaker和Amazon Bedrock微調視覺語言模型（VLM）來生成時尚產品描述

該存儲庫使用生成AI（Genai）來實現機器學習培訓和推理團，以基於提供的圖像來回答問題。存在預訓練的模型以實現此類任務，但是它們是a）無法適應特定領域的方案 - 因此，為什麼我們需要微調和b）不顯示將部署到生產環境中的能力。

為了解決這個問題，這篇文章通過對使用Amazon SageMaker的時尚數據集上的VLM（視覺語言模型）微調VLM（視覺語言模型），展示瞭如何從產品圖像中提取特定域的產品屬性，然後使用Amazon Bedrock使用提取的屬性作為輸入來生成產品描述。

有關此存儲庫的詳細演練，請參閱我們的博客文章。

數據和用例

該存儲庫中使用的數據取自Kaggle時尚圖像數據集，我們嘗試求解的用戶酶正在為電子商務網站生成這些時尚產品的字幕，這一任務在歷史上一直很耗時。高質量的產品描述通過搜索引擎優化（SEO）提高可搜索性，並通過允許他們做出明智的決策來提高客戶滿意度。

視覺語言模型

該存儲庫中的模型列出是Blip-2模型，更具體地說，是使用Flan-T5-XL的變體。

下圖說明了Blip-2的概述：

解決方案概述

該解決方案可以分為兩個部分，在下面的成就中被標記為綠色和藍色：a）綠色和b）藍色推斷。

微調

1. 數據將在S3存儲桶中下載
2. 數據的一個子集用於使用薩格人培訓工作來微調模型
3. 然後將微型模型人工製品存儲在S3存儲桶中以用於推斷

推理

1. S3上的模型偽像是通過SageMaker端點旋轉的
2. 然後將端點帶有一個問題，並返回包含相關產品屬性的類似JSON的響應
3. 然後，響應將帶有預定義的提示並旁邊的亞馬遜基岩，該提示在返回之前將響應格式化。

安全

有關更多信息，請參見貢獻。

執照

該圖書館已獲得MIT-0許可證的許可。請參閱許可證文件。