advances in ai 2024

Escuela Internacional de Verano en Avances en AI

Modelos de idiomas grandes y cómo instruirlos (de manera sostenible)

Autores : Danilo Croce

Muchas gracias a: Claudiu Daniel Hromei por apoyar el desarrollo del (la mayoría del) código

Este repositorio alberga materiales de la conferencia celebrada en la escuela de verano y visitas en IA 2024 organizadas por el Aixia.

El objetivo de esta conferencia es:

• Introducir arquitecturas basadas en transformadores , incluidas las estructuras de codificación de codificación, solo codificador y solo decodificadores.
• Demostrar ajuste de modelos de idiomas grandes (LLM) en diversos conjuntos de datos en un marco de tareas múltiples.
• Utilice la adaptación de bajo rango (LORA) para un ajuste sostenible y eficiente en el hardware "modesto" (por ejemplo, GPU de 16 GB de 16 GB).

El repositorio incluye código para ajustar un modelo de lenguaje grande (basado en LLAMA) para resolver tareas de PNL, como las propuestas en Evalita 2023.

Código

Laboratorio: Fine-Tune Un modelo basado en la llama para todas las tareas de Evalita 2023

Al final, esta conferencia muestra cómo codificar datos de diferentes tareas en indicaciones específicas y ajustar el LLM usando Q-Lora. El código también se puede usar en Google Colab utilizando una GPU NVIDIA-T4 con memoria de 15 GB.

El código se basa en gran medida en el utilizado en el sistema Extremita que participa en Evalita 2023:

• Papel extremo
• Código de Extremita Github

El proceso general se divide en cuatro pasos:

• Paso 1 - Codificación de los datos : muestra cómo codificar datos de una tarea de evaluación para generar indicaciones para el LLM
• Paso 2-Ajunte del modelo LLAMA : muestra cómo ajustar las LLM dadas las indicaciones
• Paso 3 - Inferencia: Generación de respuestas : Muestra cómo usar el modelo de ajuste multado
• Paso 4 - Descorriente de los datos : muestra cómo convertir los datos para ser evaluados en el desafío Evalta

Toboganes

El repositorio también presenta diapositivas (enlace).

Ejercicio

Se propone un ejercicio en las últimas diapositivas de la presentación.

Contactos

Para consultas o sugerencias, plantee un problema en este repositorio o envíe un correo electrónico a [email protected]