generative ai falcon 40b instruct notebooks

Записные записные книжки настройки модели с большим языком

Этот репозиторий предоставляет коллекцию генеративных технических записей ИИ, которые демонстрируют, как использовать Amazon SageMaker Jumpstart SDK для настройки больших языковых моделей (LLMS). В ноутбуках показывают, что варианты модели Falcon, как применять базовые уровни настройки вывода, такие как: стратегии декодирования, методы подсказки и поколение поиска. Записные книжки предназначены для того, чтобы быть простым в развертывании и следовать, что делает их хорошим ресурсом для изучения настройки вывода LLM.

Следующие ноутбуки Amazon Sagemaker Studio доступны в этом хранилище:

• LLM-Custom-Decoding-Falcon40B-G5.ipynb демонстрирует, как генерировать текст, используя различные стратегии декодирования с Amazon Sagemaker Jumpstart SDK и модели Falcon-40B-Instruct.
• LLM-Custom-Prompting-Falcon40B.ipynb демонстрирует, как генерировать текст, используя подсказывающие инженерные методы с Amazon SageMaker Jumpstart SDK и Falcon-40B Model.
• LLM-Custom-RAG-Kendra-Falcon40B.ipynb демонстрирует, как использовать SageMaker и Boto3 SDK для генерации текста с использованием рисунка для поиска-аугимента (RAG). Ноутбук реализует семантический поиск с помощью сервиса поиска Amazon Kendra Enterprise. Языковая модель, используемая для генерации текста,-это Falcon-40B-Instruct.

Чтобы открыть ноутбук Jupyter с помощью Amazon SageMaker, рассмотрите два шага ниже:

1. Создайте или откройте ноутбук Amazon SageMaker Studio.
2. Клонировать это репозиторий GIT в Amazon Sagemaker Studio.

Безопасность

Смотрите Anploying для получения дополнительной информации.

Лицензия

Эта библиотека лицензирована по лицензии MIT-0. Смотрите файл лицензии.