WAW ML 24 LLM Tutorial

Técnicas para o uso de LLMs de maneira eficaz: uma introdução para prontuários de engenharia, geração aumentada de recuperação e formas de ferramentas

Autores: Diaoule Diallo, Roxanne El Baff, Dominik Opitz, Oliver Bensch, Peer Schütt

Autor correspondente: Peer Schütt (Peer.Schuett em DLR.DE)

Neste tutorial prático, você aprenderá as mais recentes técnicas em engenharia imediata, como orientar grandes modelos de idiomas (LLMS) usando com eficiência a geração aumentada de recuperação (RAG) e o Ferramentas, um método recente para enriquecer LLMs com informações de ferramentas externas. Você poderá configurar seu próprio modelo LLM local e aplicar essas técnicas para amostrar tarefas. Idealmente, você pode usar esse conhecimento imediatamente para enfrentar seus próprios desafios, seja em pesquisa ou administração.

Este tutorial foi preparado para o WAW ML 2024.

Planeje o tutorial:

Cada uma das três peças tutoriais possui uma pasta dedicada com instruções. O tutorial está planejado para ser concluído em quatro etapas:

1. LM Studio & Python Setup
2. Engenharia rápida
3. Geração Aumentada Recuperação (RAG)
4. Ferramentas de ferramentas

Configuração do LM Studio:

Usaremos o LM Studio (https://lmstudio.ai/). Fornecemos um PDF com instruções de instalação lm_studio_install_instruct.pdf, uma breve introdução ao LM Studio e explicações do modelo que queremos usar. Leia o PDF, faça o download do modelo LLM especificado e tenha o LM Studio em funcionamento . Para alguma parte do tutorial, você pode usar a API Mistral para obter um desempenho melhor, mas essa é uma opção opcional. Se você deseja usar isso, inscreva-se aqui (https://docs.mistral.ai/getting-started/quickstart/#account-setup). Mas todas as peças são factíveis com o LM Studio.

Configuração do Python:

Também fornecemos um requirements.txt com todos os pacotes Python necessários. Com isso, você pode criar um ambiente de conda/mamba para o tutorial:

 conda init powershell  # only for Windows users - requires terminal restart
conda activate 
mamba create -n waw_ml python=3.10  # mamba/conda depending on what you use
conda activate waw_ml
pip install -r requirements.txt