dynamic_prompting

动态推广

动态几次提示是一个Python软件包，该软件包动态选择在上下文接近用户任务或从知识库（类似于抹布）查询的n个样本，以在提示中包含。这允许向LLM提供相关且内容丰富的示例，而无需微调LLM以从数据集中学习和提取模式。这意味着较低的计算成本和资源；您只需要收集与您的任务相关的样本，而对于LLM来说可能并不清楚。

关键功能

• 比微调LLM快
• 性能比静态射击提示更好
• 与模型进行微调相比，可以使用较少的数据

快速开始

与pip：

 pip install dynamic_prompting

或从源安装

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

推理

第一个设置模型：

Llama3模型

1. 访问Meta Llama网站（https://llama.meta.com/llama-downloads）并注册以下载型号/s。

2. 注册后，您将收到带有URL的电子邮件以下载模型。运行下载脚本时，您将需要此URL。

3. 收到电子邮件后，请导航到下载的Llama存储库并运行下载。SH脚本。

   • 确保将执行权限授予下载。SH脚本
   • 在此过程中，将提示您从电子邮件中输入URL。
   • 请勿使用“复制链接”选项；手动复制电子邮件中的链接。

下载模型后，将它们放入此文件夹中。

否则您可以使用这种方式：

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

文本嵌入模型

嵌入式类设计用于与文本嵌入模型接口。有许多嵌入模型提供商（OpenAi，Cohere，拥抱的脸等）。目前，该类提供了MXBAI EMBED-LARGE-V1 ， BGE-SMALL-EN-V1.5和NOMIC-EMBED-TEXT-V1.5的标准接口。

开始

首先，下载模型并将其放入此文件夹中。

git lfs install

通讯模型

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

BGE模型

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

MXBAI模型

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

演示

检查示例。IPYNB