dynamic_prompting

Динамический прогноз

Динамическое несколько выстрелов-это пакет Python, который динамически выбирает n образцов, которые находятся в контекстном порядке, близко к задаче пользователя или запросу из базы знаний (аналогично RAG), чтобы включить в приглашение. Это позволяет предоставить связанные и информативные примеры LLM без необходимости тонкой настройки LLM для изучения и извлечения шаблонов из набора данных. Это означает более низкие затраты на вычисление и ресурсы; Вам просто нужно собрать образцы, которые связаны с вашей задачей и могут быть не очень ясными для LLM.

Ключевые функции

• Быстрее, чем тонкая настройка LLM
• Лучшая производительность, чем статические несколько выстрелов
• Работает с меньшим количеством данных, чем настройка модели

Быстрый старт

С PIP:

 pip install dynamic_prompting

или установить из источника

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

Вывод

Первая настройка модели:

Llama3 модель

1. Посетите веб-сайт Meta Llama (https://llama.meta.com/llama-houndloads) и зарегистрируйтесь для загрузки модели/s.

2. После регистрации вы получите электронное письмо с URL -адресом для загрузки моделей. Вам понадобится этот URL, когда вы запустите сценарий download.sh.

3. Как только вы получите электронное письмо, перейдите к своему загруженному репозиторию Llama и запустите сценарий download.sh.

   • Обязательно предоставьте разрешения на выполнение сценарию Download.sh
   • В ходе этого процесса вам будет предложено ввести URL -адрес по электронной почте.
   • Не используйте опцию «Копировать ссылку»; Скопируйте ссылку по электронной почте вручную.

Как только вы скачали модели, поместите их в эту папку.

В противном случае вы можете использовать таким образом:

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

Текст встраивает модели

Класс Enterdings предназначен для взаимодействия с моделями встраивания текста. Есть много поставщиков моделей встраивания (Openai, Cohere, обнимающееся лицо и т. Д.). В настоящее время этот класс предоставляет стандартный интерфейс для MXBAI-Embed-Large-V1 , BGE-SMALL-EN-V1.5 и NOMIC-EMBED-TEXT-V1.5 .

Начните

Чтобы начать, загрузите модели и поместите их в эту папку.

git lfs install

Номинальная модель

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

Модель BGE

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

MXBAI MODEL

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

Демо

Проверьте пример. Ipynb