amazon sagemaker personalized generative ai

Архитектор персонализированные генеративные приложения AI SaaS на Amazon SageMaker

Этот проект обеспечивает тонкую настройку и обслуживание гиперлизованных генеративных моделей искусственного интеллекта в масштабе на AWS. Мы удовлетворяем потребности поставщиков SaaS и стартапов B2C, стремящихся быстро масштабироваться. Мы предлагаем архитектуру, которая использует Amazon SageMaker для оптимизации модели и развертывания ИИ, обеспечивающего более быстрое разработку, улучшение качества обслуживания и экономически эффективность; и многомодерные конечные точки (MMES) для хостинга в реальном времени, которые обеспечивают масштабируемый, низкий уровень задержки и экономичный способ развертывания тысяч моделей глубокого обучения, стоящих за одной конечной точкой. Для получения более подробной информации, пожалуйста, обратитесь к этому сообщению в блоге.

Требования к настройке

• Узел 18+
• Установите CDK с NPM npm install -g aws-cdk
• Установить стихи: https://python-poetry.org/docs/#installation

Поэзия Установка Linux, MacOS, Windows (WSL)

curl -sSL https://install.python-poetry.org | python3 -

Установить зависимости с поэзией

 poetry install

Настройка Python Env в Shell

 poetry shell

На этом этапе теперь вы можете синтезировать шаблон CloudFormation для этого кода.

 $ cdk synth

Чтобы добавить дополнительные зависимости, например, другие библиотеки CDK, просто используйте poetry add yourpackage

Полезные команды

• cdk ls Перечислите все стеки в приложении
• cdk synth испускает синтезированный шаблон облачной информации
• cdk deploy развернуть этот стек в свою учетную запись/регион по умолчанию/регион
• cdk diff сравнить развернутый стек с текущим состоянием
• cdk docs открывает документацию CDK

Архитектура

Описанная архитектура включает в себя систему для генеративных вариантов использования ИИ с акцентом на персонализированную генерацию текста до изображения в качестве примера, используя стабильную диффузию V2-1. Ключевые компоненты этой архитектуры следующие:

• Обучение и хостинг SAGEMAKER : эти API предоставляют полностью управляемые рабочие места для обучения и возможности развертывания моделей. Они позволяют быстро движущимся командам больше концентрироваться на функциях продукта и дифференциации. Рабочие места для обучения SageMaker, которые следуют за парадигмой «запуска и установки», подходят для переходной одновременной модели с точной настройкой во время адаптации пользователя.

• Хостинг с поддержкой графических процессоров : SageMaker поддерживает варианты хостинга с поддержкой графических процессоров для развертывания моделей глубокого обучения в масштабе. Это включает в себя интеграцию сервера вывода Nvidia Triton в экосистему SageMaker. SageMaker также предлагает поддержку графического процессора для многомодельных конечных точек (MMES), которые позволяют развернуть тысячи моделей глубокого обучения, стоящих за одной конечной точкой, обеспечивая масштабируемость, низкую задержку и экономическую эффективность.

• Уровень инфраструктуры : на уровне инфраструктуры архитектура опирается на лучшие в своем классе варианты вычислений, такие как тип экземпляра G5, оснащенные NVIDIA A10G-графическими процессорами (уникальный для AWS). Этот тип экземпляра предлагает благоприятное соотношение цены как для обучения моделям, так и для хостинга, обеспечивая эффективную вычислительную мощность за потраченный доллар.

Архитектура особенно хорошо подходит для вариантов использования генерации текста до изображения. Он делит рабочий процесс решения на две основные фазы:

• Фаза A (Пользовательская адаптация) : На этом этапе пользователи могут запросить создание одной или нескольких пользовательских моделей с тонкой настройкой. Они могут всегда проверять статус доступности своих моделей, чтобы узнать, когда закончится обучение.

• Фаза B (вывод по требованию) : после тонкой настройки модель готова к генерации изображений в реальном времени по требованию.

Как позвонить в API Gateway с почтальником

Чтобы взаимодействовать с вашим API Gateway, развернутым с использованием AWS CDK, выполните следующие действия:

1. Откройте почтальон и импортируйте коллекцию из documentation папки.

2. Установите метод запроса (например, get, post) и введите конечную точку URL API Gateway.

3. Если ваш API требует аутентификации, настройте необходимые заголовки или токены.

4. Добавьте любые необходимые параметры запроса или данные.

5. Нажмите «Отправить», чтобы сделать запрос и получить ответ.

   Примечание. Убедитесь, что ваши ресурсы AWS и шлюз API правильно настроены для обработки запроса.