WAW ML 24 LLM Tutorial

Techniken zur effektiven Verwendung von LLMs: Eine Einführung in die sofortige Engineering, die Ergänzung von Abrufen und Toolformer

Autoren: Diaule Diallo, Roxanne El Baff, Dominik Opitz, Oliver Bensch, Peer Schütt

Entsprechender Autor: Peer Schütt (Peer.schuett bei Dlr.de)

In diesem praktischen Tutorial lernen Sie die neuesten Techniken in der schnellen Engineering, wie man Großsprachenmodelle (LLMs) mithilfe von RAG (Abruf Augmented Generation) und Toolformer, eine aktuelle Methode zur Anreicherung von LLMs mit Informationen aus externen Tools, effizient lernen. Sie können Ihr eigenes lokales LLM -Modell einrichten und diese Techniken auf Beispielaufgaben anwenden. Im Idealfall können Sie dieses Wissen sofort nutzen, um Ihre eigenen Herausforderungen anzugehen, sei es in Forschung oder Verwaltung.

Dieses Tutorial wurde für die WAW ML 2024 vorbereitet.

Planen Sie das Tutorial:

Jedes der drei Tutorial -Teile verfügt über einen speziellen Ordner mit Anweisungen. Das Tutorial soll in vier Schritten abgeschlossen werden:

1. LM Studio & Python Setup
2. Schnelltechnik
3. Abrufer Augmented Generation (LAG)
4. Toolformer

LM Studio Setup:

Wir werden LM Studio (https://lmstudio.ai/) verwenden. Wir stellen ein PDF mit Installationsanweisungen LM_STUDIO_INSTALL_INSTRUCT.PDF, eine kurze Einführung in das LM Studio und Erklärungen des Modells, das wir verwenden möchten, eine kurze Einführung. Bitte lesen Sie das PDF, laden Sie das angegebene LLM -Modell herunter und führen Sie LM Studio in Betrieb . Für einen Teil des Tutorials können Sie die Mistral -API verwenden, um eine bessere Leistung zu erzielen. Dies ist jedoch eine optionale Wahl. Wenn Sie das verwenden möchten, melden Sie sich hier an (https://docs.mistal.ai/getting-started/quickstart/#account-setup). Aber alle Teile sind mit LM Studio machbar.

Python Setup:

Wir stellen auch einen requirements.txt an. Txt mit allen notwendigen Python -Paketen. Damit können Sie eine Conda/Mamba -Umgebung für das Tutorial erstellen:

 conda init powershell  # only for Windows users - requires terminal restart
conda activate 
mamba create -n waw_ml python=3.10  # mamba/conda depending on what you use
conda activate waw_ml
pip install -r requirements.txt