generative ai falcon 40b instruct notebooks

Cuadernos de personalización del modelo de idioma grande

Este repositorio proporciona una colección de cuadernos generativos de ingeniería de IA que demuestran cómo usar Amazon Sagemaker JumpStart SDK para personalizar los modelos de idiomas grandes (LLM). Los cuadernos muestran utilizando las variantes del modelo Falcon cómo aplicar los niveles básicos de personalización de inferencia, como: estrategias de decodificación, técnicas de impulso y generación de recuperación acuática. Los cuadernos están diseñados para ser fáciles de implementar y seguir, lo que los convierte en un buen recurso para aprender sobre la personalización de la inferencia de LLM.

Los siguientes cuadernos de estudio de Amazon Sagemaker están disponibles en este repositorio:

• LLM-Custom-Decoding-Falcon40B-G5.ipynb demuestra cómo generar texto utilizando diferentes estrategias de decodificación con el modelo de insifir de Amazon SageMaker JumpStart y Falcon-40B-Instructo.
• LLM-Custom-Prompting-Falcon40B.ipynb demuestra cómo generar texto utilizando técnicas de ingeniería de incrustación con el modelo de Amazon Sagemaker JumpStart SDK y Falcon-40B.
• LLM-Custom-RAG-Kendra-Falcon40B.ipynb demuestra cómo usar SAGEMAKER y BOTO3 SDK para generar texto utilizando el patrón de generación acuático (RAG) de recuperación. El cuaderno implementa la búsqueda semántica utilizando el servicio de búsqueda de Amazon Kendra Enterprise. El modelo de lenguaje utilizado para la generación de texto es Falcon-40B-Instructo.

Para abrir un cuaderno Jupyter usando Amazon Sagemaker, considere los dos pasos a continuación:

1. Crear o abrir un cuaderno de estudio de Amazon Sagemaker.
2. Clone Este repositorio Git en Amazon Sagemaker Studio.

Seguridad

Ver contribuyendo para más información.

Licencia

Esta biblioteca tiene licencia bajo la licencia MIT-0. Ver el archivo de licencia.