WAW ML 24 LLM Tutorial

Técnicas para usar LLM de manera efectiva: una introducción a la ingeniería rápida, la generación aumentada de recuperación y el formador de herramientas

Autores: Diaule Diallo, Roxanne El Baff, Dominik Opitz, Oliver Bensch, Peer Schütt

Autor correspondiente: Peer Schütt (Peer.Schuett en DLR.DE)

En este tutorial práctico, aprenderá las últimas técnicas en ingeniería rápida, cómo dirigir los modelos de idiomas grandes (LLM) utilizando eficientemente la generación de recuperación (RAG) y el formador de herramientas, un método reciente para enriquecer LLMS con información de herramientas externas. Podrá configurar su propio modelo LLM local y aplicar estas técnicas a las tareas de muestra. Idealmente, puede usar este conocimiento de inmediato para enfrentar sus propios desafíos, ya sea en investigación o administración.

Este tutorial fue preparado para el WAW ML 2024.

Planifique el tutorial:

Cada una de las tres partes tutoriales tiene una carpeta dedicada con instrucciones. Se planea que el tutorial se complete en cuatro pasos:

1. Configuración de LM Studio & Python
2. Ingeniería rápida
3. Recuperación de generación aumentada (trapo)
4. Formador de herramientas

Configuración de LM Studio:

Usaremos LM Studio (https://lmstudio.ai/). Proporcionamos un PDF con instrucciones de instalación lm_studio_install_instruct.pdf, una breve introducción a LM Studio y explicaciones del modelo que queremos usar. Lea el PDF, descargue el modelo LLM especificado y tenga LM Studio en funcionamiento . Para alguna parte del tutorial, puede usar la API Mistral para obtener un mejor rendimiento, pero esta es una opción opcional. Si desea usar eso, regístrese aquí (https://docs.mistral.ai/getting-started/quickstart/#account-setup). Pero todas las partes son factibles con LM Studio.

Configuración de Python:

También proporcionamos un requirements.txt con todos los paquetes de Python necesarios. Con eso, puede crear un entorno Conda/Mamba para el tutorial:

 conda init powershell  # only for Windows users - requires terminal restart
conda activate 
mamba create -n waw_ml python=3.10  # mamba/conda depending on what you use
conda activate waw_ml
pip install -r requirements.txt