dynamic_prompting

DynamicPropting

O impulsionamento dinâmico de poucos tiro é um pacote Python que seleciona dinamicamente N amostras contextualmente próximas da tarefa ou consulta do usuário de uma base de conhecimento (semelhante a RAG) para incluir no prompt. Isso permite o fornecimento de exemplos relacionados e informativos ao LLM sem precisar ajustar o LLM para aprender e extrair padrões do conjunto de dados. Isso significa menores custos e recursos de computação; Você só precisa coletar amostras relacionadas à sua tarefa e pode não ser muito clara para o LLM.

Principais recursos

• Mais rápido que o ajuste fino de um LLM
• Melhor desempenho do que os avisos de poucos estáticos
• Funciona com menos dados do que o ajuste fino de um modelo

Início rápido

Com pip:

 pip install dynamic_prompting

ou instalar da fonte

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

Inferência

Primeiro configure o modelo:

Modelo llama3

1. Visite o site da Meta Llama (https://llama.meta.com/llama-wnoads) e registre-se para baixar o modelo/s.

2. Depois de registrado, você receberá um email com um URL para baixar os modelos. Você precisará deste URL quando executar o script Download.sh.

3. Depois de receber o email, navegue para o seu repositório de llama baixado e execute o script Download.sh.

   • Certifique -se de conceder permissões de execução ao script download.sh
   • Durante esse processo, você será solicitado a entrar no URL a partir do email.
   • Não use a opção "Copiar link"; Copie o link do email manualmente.

Depois de baixar os modelos, coloque -os nesta pasta.

Caso contrário, você pode usar desta maneira:

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

Modelos de incorporação de texto

A classe de incorporação foi projetada para interface com modelos de incorporação de texto. Existem muitos provedores de modelos de incorporação (OpenAI, Coere, Abraçando o rosto, etc.). Atualmente, esta classe fornece uma interface padrão para MXBAI-EMBED-LARGE-V1 , BGE-SMALL-EN-V1.5 e NOMIC-EBET-TEXT-V1.5 .

Comece

Para começar, baixe os modelos e coloque -os nesta pasta.

git lfs install

Modelo Nomic

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

Modelo BGE

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

Modelo Mxbai

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

Demonstração

Verifique o exemplo.ipynb