WAW ML 24 LLM Tutorial

Techniques d'utilisation efficacement LLM

Auteurs: Diaoule Diallo, Roxanne El Baff, Dominik Opitz, Oliver Bensch, Peer Schütt

Auteur correspondant: Peer Schütt (Peer.Schuett à DLR.DE)

Dans ce didacticiel pratique, vous apprendrez les dernières techniques en ingénierie rapide, comment orienter efficacement les modèles de langage de grands (LLM) en utilisant efficacement la génération augmentée (RAG) et ToolFormer, une méthode récente pour enrichir les LLM avec des informations provenant d'outils externes. Vous pourrez configurer votre propre modèle LLM local et appliquer ces techniques à des échantillons de tâches. Idéalement, vous pouvez utiliser ces connaissances immédiatement pour relever vos propres défis, que ce soit dans la recherche ou l'administration.

Ce tutoriel a été préparé pour le WAW ML 2024.

Planifier le tutoriel:

Chacune des trois pièces de tutoriel a un dossier dédié avec des instructions. Le tutoriel devrait être achevé en quatre étapes:

1. Configuration LM Studio et Python
2. Ingénierie rapide
3. Génération augmentée (RAG) de récupération (RAG)
4. Formateur d'outils

Configuration du studio LM:

Nous utiliserons LM Studio (https://lmstudio.ai/). Nous fournissons un PDF avec des instructions d'installation LM_STUDIO_INSTALL_INSTRUCT.pdf, une courte introduction à LM Studio et des explications du modèle que nous voulons utiliser. Veuillez lire le PDF, télécharger le modèle LLM spécifié et faire fonctionner LM Studio . Pour une partie du tutoriel, vous pouvez utiliser l'API Mistral pour obtenir une meilleure performance, mais c'est un choix facultatif. Si vous souhaitez l'utiliser, inscrivez-vous ici (https://docs.mistral.ai/getting-started/quickstart/#account-setup). Mais toutes les pièces sont réalisables avec LM Studio.

Configuration python:

Nous fournissons également une requirements.txt avec tous les packages Python nécessaires. Avec cela, vous pouvez créer un environnement Conda / Mamba pour le tutoriel:

 conda init powershell  # only for Windows users - requires terminal restart
conda activate 
mamba create -n waw_ml python=3.10  # mamba/conda depending on what you use
conda activate waw_ml
pip install -r requirements.txt