visual question answering finetuning

Menetuning Models для выполнения визуального вопроса, специфичного для домена

Создание описаний модных продуктов путем точной настройки модели на языке зрения (VLM) с Amazon SageMaker и Amazon Bedrock

Этот репозиторий реализует тренинги по машинному обучению и лодку вывода, используя генеративный ИИ (Genai) для ответа на вопросы на основе предоставленных изображений. Предварительно обученные модели существуют для выполнения таких задач, однако они не могут адаптироваться к сценариям, специфичными для домена-поэтому нам нужно точно настроить и б) не отображать способность быть развернутыми в производственных средах.

Чтобы решить эту проблему, этот пост показывает, как извлекать атрибуты продукта, специфичные для домена из изображений продукта, с помощью тонкой настройки VLM (модель зрения на зрение) в набор данных моды с использованием Amazon SageMaker, а затем используйте коренную породу Amazon для создания описаний продуктов, используя извлеченные атрибуты в качестве входных данных.

Для получения подробного прохождения этого хранилища, пожалуйста, обратитесь к нашему блоге.

Данные и вариант использования

Данные, используемые в этом репозитории, взяты из набора данных Fashion Fashion Kaggle, а использование, которое мы пытаемся решить, создает подписи для этих модных продуктов для веб-сайта электронной коммерции, задачи, которая исторически занимала очень много времени. Высококачественные описания продукции улучшают поисковую оптимизацию (SEO), а также повышают удовлетворенность клиентов, позволяя им принимать обоснованные решения.

Модель на языке зрения

Модель, созданная в этом репозитории, представляет собой модель BLIP-2 и, более конкретно, ее вариант с использованием FLAN-T5-XL.

Следующая диаграмма иллюстрирует обзор BLIP-2:

Обзор решения

Раствор можно разбить на две части, отмеченные зеленым и синим в ахитектуре ниже: а) тонкая настройка зеленого и б) вывод в синий цвет.

Тонкая настройка

1. Данные загружаются в ведре S3
2. Подмножество данных используется для точной настройки модели, используя учебную работу SageMaker
3. Артефакты с тонкой моделью затем хранятся в ведре S3, которое будет использоваться для вывода

Вывод

1. Артефакты модели на S3 вращаются через конечную точку SageMaker
2. Конечная точка затем вызывается с вопросом и возвращает ответ, похожий на JSON, содержащий соответствующие атрибуты продукта
3. Затем ответ передается в Amazon Bedrock вместе с предварительно определенной подсказкой, которая форматирует ответ, прежде чем вернуть его.

Безопасность

Смотрите Anploying для получения дополнительной информации.

Лицензия

Эта библиотека лицензирована по лицензии MIT-0. Смотрите файл лицензии.