dynamic_prompting

Dynamique

La demande dynamique à quelques tirs est un package Python qui sélectionne dynamiquement N échantillons qui sont contextuellement proches de la tâche ou de la requête de l'utilisateur à partir d'une base de connaissances (similaire à RAG) à inclure dans l'invite. Cela permet la fourniture d'exemples liés et informatifs au LLM sans avoir à affiner le LLM pour apprendre et extraire des modèles de l'ensemble de données. Cela signifie réduire les coûts et les ressources de calcul; Vous avez juste besoin de collecter des échantillons liés à votre tâche et qui pourraient ne pas être très clairs pour le LLM.

Caractéristiques clés

• Plus rapide que de régler un LLM
• De meilleures performances que les invites statiques à quelques coups
• Fonctionne avec moins de données que le réglage fin d'un modèle

Démarrage rapide

Avec PIP:

 pip install dynamic_prompting

ou installer à partir de la source

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

Inférence

Configuration d'abord du modèle:

Modèle llama3

1. Visitez le site Web de Meta Llama (https://llama.meta.com/llama-downloads) et inscrivez-vous pour télécharger le modèle / s.

2. Une fois enregistré, vous recevrez un e-mail avec une URL pour télécharger les modèles. Vous aurez besoin de cette URL lorsque vous exécutez le script Download.sh.

3. Une fois que vous avez reçu l'e-mail, accédez à votre référentiel LLAMA téléchargé et exécutez le script Télécharger.sh.

   • Assurez-vous d'accorder des autorisations d'exécution au Script Download.sh
   • Au cours de ce processus, vous serez invité à saisir l'URL à partir de l'e-mail.
   • N'utilisez pas l'option «Copier le lien»; Copiez manuellement le lien de l'e-mail.

Une fois que vous avez téléchargé les modèles, placez-les dans ce dossier.

Sinon, vous pouvez utiliser de cette façon:

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

Modèles d'intégration de texte

La classe Embeddings est conçue pour l'interfaçage avec des modèles d'intégration de texte. Il existe de nombreux fournisseurs de modèles d'incorporation (Openai, Cohere, étreinte Face, etc.). Actuellement, cette classe fournit une interface standard pour MXBAI-EMBED-LARGE-V1 , BGE-SMALL-EN-V1.5 et Nomic-Embed-Text-V1.5 .

Commencer

Pour commencer, téléchargez les modèles et placez-les dans ce dossier.

git lfs install

Modèle nomique

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

Modèle BGE

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

Modèle MXBAI

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

Démo

Vérifiez l'exemple.Ipynb