visual question answering finetuning

Finetuning-Modelle zur Ausführung von domänenspezifischen visuellen Fragenbeantwortung

Erzeugung von Modesproduktbeschreibungen durch Feinabstimmung eines Vision-Sprach-Modells (VLM) mit Amazon Sagemaker und Amazon-Grundgestein

Dieses Repository implementiert ein Trainings- und Inferenzregiment für maschinelles Lernen, wobei generative KI (Genai) beantwortet werden, um Fragen basierend auf bereitgestellten Bildern zu beantworten. Vorausgebildete Modelle existieren, um solche Aufgaben zu erreichen. Sie sind jedoch a) nicht in der Lage, sich an domänenspezifische Szenarien anzupassen.

Um dieses Problem zu lösen, zeigt dieser Beitrag, wie domänenspezifische Produktattribute aus Produktbildern extrahiert werden können, indem ein VLM (Vision-Sprage-Modell) auf einem Modemodus mit Amazon-Sagemaker abtielt, und dann mithilfe von Amazon-Grundgesteln Produktbeschreibungen unter Verwendung der extrahierten Attribute als Eingabe generieren.

Eine detaillierte Vorgehensweise dieses Repositorys finden Sie in unserem Blogpost.

Daten und Anwendungsfall

Die in diesem Repository verwendeten Daten stammen aus dem Datensatz von Kaggle Fashion Images und die von uns zu lösen von Usecase, die von uns zu lösen versuchen, sind Bildunterschriften für diese Modeserzeugnisse für eine E-Commerce-Website zu generieren, eine Aufgabe, die in der Vergangenheit sehr zeitaufwändig war. Hochwertige Produktbeschreibungen verbessern die Suchbarkeit durch Suchmaschinenoptimierung (SEO) und erhöhen die Kundenzufriedenheit, indem sie es ihnen ermöglichen, fundierte Entscheidungen zu treffen.

Visionsprachel-Modell

Das in diesem Repository beendete Modell ist das BLIP-2-Modell und insbesondere eine Variante davon unter Verwendung von Flan-T5-XL.

Das folgende Diagramm zeigt den Überblick über Blip-2:

Lösungsübersicht

Die Lösung kann in zwei Abschnitte unterteilt werden, die in der folgenden Achitecture grün und blau markiert werden: a) Feinabstimmung in grün und b) Inferenz in Blau.

Feinabstimmung

1. Die Daten werden in einem S3 -Eimer heruntergeladen
2. Eine Teilmenge der Daten wird verwendet, um ein Modell mit einem Sagemaker-Trainingsjob zu optimieren
3. Die fein abgestimmten Modellartefakte werden dann in einem S3-Eimer aufbewahrt, der für die Inferenz verwendet werden soll

Schlussfolgerung

1. Die Modellartefakte auf S3 werden über einen Sagemaker -Endpoint aufdrehen
2. Der Endpunkt wird dann mit einer Frage aufgerufen und gibt eine JSON-ähnliche Antwort zurück, die die relevanten Produktattribute enthält
3. Die Antwort wird dann neben einer vordefinierten Eingabeaufforderung an das Amazon-Grundgestein übergeben, die die Antwort vor der Rückgabe formatiert.

Sicherheit

Weitere Informationen finden Sie unter Beitrag.

Lizenz

Diese Bibliothek ist im Rahmen der MIT-0-Lizenz lizenziert. Siehe die Lizenzdatei.