dynamic_prompting

動態推廣

動態幾次提示是一個Python軟件包，該軟件包動態選擇在上下文接近用戶任務或從知識庫（類似於抹布）查詢的n個樣本，以在提示中包含。這允許向LLM提供相關且內容豐富的示例，而無需微調LLM以從數據集中學習和提取模式。這意味著較低的計算成本和資源；您只需要收集與您的任務相關的樣本，而對於LLM來說可能並不清楚。

關鍵功能

• 比微調LLM快
• 性能比靜態射擊提示更好
• 與模型進行微調相比，可以使用較少的數據

快速開始

與pip：

 pip install dynamic_prompting

或從源安裝

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

推理

第一個設置模型：

Llama3模型

1. 訪問Meta Llama網站（https://llama.meta.com/llama-downloads）並註冊以下載型號/s。

2. 註冊後，您將收到帶有URL的電子郵件以下載模型。運行下載腳本時，您將需要此URL。

3. 收到電子郵件後，請導航到下載的Llama存儲庫並運行下載。 SH腳本。

   • 確保將執行權限授予下載。 SH腳本
   • 在此過程中，將提示您從電子郵件中輸入URL。
   • 請勿使用“複製鏈接”選項；手動複製電子郵件中的鏈接。

下載模型後，將它們放入此文件夾中。

否則您可以使用這種方式：

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

文本嵌入模型

嵌入式類設計用於與文本嵌入模型接口。有許多嵌入模型提供商（OpenAi，Cohere，擁抱的臉等）。目前，該類提供了MXBAI EMBED-LARGE-V1 ， BGE-SMALL-EN-V1.5和NOMIC-EMBED-TEXT-V1.5的標準接口。

開始

首先，下載模型並將其放入此文件夾中。

git lfs install

通訊模型

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

BGE模型

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

MXBAI模型

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

演示

檢查示例。 IPYNB