generative ai falcon 40b instruct notebooks

Notebooks de personalização de modelos de linguagem grande

Este repositório fornece uma coleção de cadernos de engenharia de IA generativos que demonstram como usar o Amazon Sagemaker Jumpstart SDK para personalizar grandes modelos de linguagem (LLMS). Os notebooks mostram usando as variantes do modelo Falcon como aplicar níveis básicos de personalização de inferência, como: estratégias de decodificação, técnicas de solicitação e geração de recuperação de recuperação. Os notebooks foram projetados para ser fácil de implantar e seguir, tornando -os um bom recurso para aprender sobre a personalização da LLM Inference.

Os seguintes notebooks do Amazon Sagemaker Studio estão disponíveis neste repositório:

• LLM-Custom-Decoding-Falcon40B-G5.ipynb demonstra como gerar texto usando diferentes estratégias de decodificação com o modelo de instrução do Amazon Sagemaker SDK e Falcon-40B.
• LLM-Custom-Prompting-Falcon40B.ipynb demonstra como gerar texto usando técnicas de engenharia de solicitação com o modelo Amazon Sagemaker Jumpstart SDK e Falcon-40B.
• LLM-Custom-RAG-Kendra-Falcon40B.ipynb demonstra como usar os SDKs Sagemaker e BOTO3 para gerar texto usando o padrão de geração de recuperação (RAG). O notebook implementa a pesquisa semântica usando o serviço de pesquisa corporativo da Amazon Kendra. O modelo de idioma usado para a geração de texto é o Falcon-40B-Instruct.

Para abrir um notebook Jupyter usando o Amazon Sagemaker, considere as duas etapas abaixo:

1. Crie ou abra um notebook Amazon Sagemaker Studio.
2. Clone este repositório Git no Amazon Sagemaker Studio.

Segurança

Consulte contribuindo para mais informações.

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo de licença.