dynamic_prompting

DynamicPrompting

動的な少数のプロンプトは、プロンプトに含めるためにユーザーのタスクまたはクエリ（RAGに類似）からの文脈に近いnサンプルを動的に選択するPythonパッケージです。これにより、データセットからパターンを学習および抽出するためにLLMを微調整する必要なく、関連および有益な例をLLMに提供できます。これは、計算コストとリソースの削減を意味します。タスクに関連するサンプルを収集するだけで、LLMにとってはあまり明確ではないかもしれません。

重要な機能

• LLMを微調整するよりも速い
• 静的な少ないショットプロンプトよりも優れたパフォーマンス
• モデルを微調整するよりも少ないデータで動作します

クイックスタート

ピップ付き：

 pip install dynamic_prompting

またはソースからインストールします

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

推論

最初にモデルをセットアップします。

llama3モデル

1. Meta Llama Webサイト（https://llama.meta.com/llama-downloads）にアクセスし、登録してモデルをダウンロードしてください。

2. 登録されると、モデルをダウンロードするためのURLを含むメールが表示されます。 download.shスクリプトを実行するときに、このURLが必要になります。

3. 電子メールを取得したら、ダウンロードしたLlamaリポジトリに移動し、ダウンロードScriptを実行します。

   • download.shスクリプトに実行許可を付与するようにしてください
   • このプロセス中に、メールからURLを入力するように求められます。
   • 「コピーリンク」オプションを使用しないでください。電子メールからリンクを手動でコピーします。

モデルをダウンロードしたら、このフォルダーに入れます。

それ以外の場合は、次の方法を使用できます。

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

テキスト埋め込みモデル

Embeddingsクラスは、テキスト埋め込みモデルをインターフェースするために設計されています。多くの埋め込みモデルプロバイダー（Openai、Cohere、Hugging Faceなど）があります。現在、このクラスは、MXBAI-embed-Large-V1 、 BGE-SMALL-EN-V1.5 、およびNOMIC-embed-Text-V1.5の標準インターフェイスを提供しています。

始めましょう

開始するには、モデルをダウンロードして、このフォルダーに入れます。

git lfs install

NOMICモデル

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

BGEモデル

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

MXBAIモデル

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

デモ

example.ipynbを確認してください