dynamic_prompting

Dynamicprompting

Dynamic Few-Shot-Aufforderung ist ein Python-Paket, das n-Samples dynamisch auswählt, die kontextuell nahe der Aufgabe oder Abfrage des Benutzers von einer Wissensbasis (ähnlich wie LAG) in die Eingabeaufforderung einbezogen werden. Dies ermöglicht die Bereitstellung verwandter und informativer Beispiele an die LLM, ohne dass die LLM fein stimmen muss, um Muster aus dem Datensatz zu lernen und zu extrahieren. Dies bedeutet niedrigere Berechnungskosten und Ressourcen; Sie müssen nur Muster sammeln, die mit Ihrer Aufgabe zusammenhängen und für die LLM möglicherweise nicht sehr klar sind.

Schlüsselmerkmale

• Schneller als die Feinabstimmung eines LLM
• Bessere Leistung als statische wenige Eingabeaufforderungen
• Funktioniert mit weniger Daten als mit der Feinabstimmung eines Modells

Schneller Start

Mit PIP:

 pip install dynamic_prompting

oder aus der Quelle installieren

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

Schlussfolgerung

Erstellen Sie zuerst das Modell:

LLAMA3 Model

1. Besuchen Sie die Meta Llama-Website (https://llama.meta.com/llama-downloads) und registrieren Sie sich, um das Modell/s herunterzuladen.

2. Nach der Registrierung erhalten Sie eine E -Mail mit einer URL, um die Modelle herunterzuladen. Sie benötigen diese URL, wenn Sie das Skript download.sh ausführen.

3. Sobald Sie die E -Mail erhalten haben, navigieren Sie zu Ihrem heruntergeladenen Lama -Repository und führen Sie das Skript download.sh aus.

   • Stellen Sie sicher
   • Während dieses Vorgangs werden Sie aufgefordert, die URL aus der E -Mail einzugeben.
   • Verwenden Sie nicht die Option "Link kopieren". Kopieren Sie den Link manuell aus der E -Mail.

Sobald Sie die Modelle heruntergeladen haben, legen Sie sie in diesen Ordner.

Andernfalls können Sie so verwenden:

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

Texteinbettungsmodelle

Die Einbettungsklasse ist für die Vernetzung mit Texteinbettungsmodellen konzipiert. Es gibt viele Einbettungsmodellanbieter (Openai, Cohere, Umarmung des Gesichts usw.). Derzeit bietet diese Klasse eine Standardschnittstelle für MXBAI-EMBED-Large-V1 , BGE-Small-V1.5 und Nomic-EMbed-Text-V1.5 .

Fangen an

Laden Sie zu Beginn die Modelle herunter und legen Sie sie in diesen Ordner.

git lfs install

Nomisches Modell

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

BGE -Modell

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

MXBAI -Modell

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

Demo

Überprüfen Sie Beispiel.IPynb