generative ai falcon 40b instruct notebooks

Cahier de personnalisation du modèle grand langage

Ce référentiel fournit une collection de cahiers d'ingénierie AI génératifs qui montrent comment utiliser Amazon Sagemaker Jumpstart SDK pour personnaliser les modèles de grande langue (LLM). Les ordinateurs portables montrent en utilisant les variantes du modèle Falcon comment appliquer les niveaux de base de personnalisation d'inférence tels que: les stratégies de décodage, les techniques d'incitation et la génération auprès de la récupération. Les ordinateurs portables sont conçus pour être faciles à déployer et à suivre, ce qui en fait une bonne ressource pour en savoir plus sur la personnalisation de l'inférence LLM.

Les cahiers de studio Amazon SageMaker suivants sont disponibles dans ce référentiel:

• LLM-Custom-Decoding-Falcon40B-G5.ipynb montre comment générer du texte en utilisant différentes stratégies de décodage avec Amazon SageMaker Jumpstart SDK et Falcon-40B-Istruct Model.
• LLM-Custom-Prompting-Falcon40B.ipynb montre comment générer du texte en utilisant des techniques d'ingénierie invitant avec Amazon SageMaker Jumpstart SDK et Falcon-40B.
• LLM-Custom-RAG-Kendra-Falcon40B.ipynb montre comment utiliser Sagemaker et Boto3 SDK pour générer du texte en utilisant le motif de génération (RAG) (RAG) de la récupération. Le cahier implémente la recherche sémantique à l'aide du service de recherche en entreprise Amazon Kendra. Le modèle de langue utilisé pour la génération de texte est Falcon-40B-Istruct.

Pour ouvrir un cahier Jupyter à l'aide d'Amazon Sagemaker, considérez les deux étapes ci-dessous:

1. Créez ou ouvrez un cahier de studio Amazon Sagemaker.
2. Clone ce référentiel GIT dans Amazon Sagemaker Studio.

Sécurité

Voir contribuer pour plus d'informations.

Licence

Cette bibliothèque est autorisée sous la licence MIT-0. Voir le fichier de licence.