dynamic_prompting

Dynamicprompting

La solicitud dinámica de pocos disparos es un paquete Python que selecciona dinámicamente n muestras que están contextualmente cercanas a la tarea o consulta del usuario desde una base de conocimiento (similar a RAG) para incluir en el mensaje. Esto permite la provisión de ejemplos relacionados e informativos para la LLM sin necesidad de ajustar el LLM para aprender y extraer patrones del conjunto de datos. Esto significa costos y recursos de cálculo más bajos; Solo necesita recolectar muestras que estén relacionadas con su tarea y que no sean muy claras para el LLM.

Características clave

• Más rápido que ajustar un LLM
• Mejor rendimiento que las indicaciones estáticas de pocos disparos
• Funciona con menos datos que ajustar un modelo

Comienzo rápido

Con pip:

 pip install dynamic_prompting

o instalar desde la fuente

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

Inferencia

Primera configuración del modelo:

Modelo de LLAMA3

1. Visite el sitio web de Meta Llama (https://llama.meta.com/llama-downloads) y regístrese para descargar el modelo/s.

2. Una vez registrado, recibirá un correo electrónico con una URL para descargar los modelos. Necesitará esta URL cuando ejecute el script download.sh.

3. Una vez que reciba el correo electrónico, navegue a su repositorio de LLAMA descargado y ejecute el script download.sh.

   • Asegúrese de otorgar permisos de ejecución al script download.sh
   • Durante este proceso, se le pedirá que ingrese la URL desde el correo electrónico.
   • No use la opción "Copiar enlace"; Copie el enlace del correo electrónico manualmente.

Una vez que haya descargado los modelos, póngalos en esta carpeta.

De lo contrario, puede usar de esta manera:

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

Modelos de incrustación de texto

La clase de incrustaciones está diseñada para interactuar con los modelos de incrustación de texto. Hay muchos proveedores de modelos de incrustación (OpenAi, cohere, abrazando la cara, etc.). Actualmente, esta clase proporciona una interfaz estándar para MXBAI-Embed-Large-V1 , BGE-Small-En-V1.5 y Nomic-Embed-Text-V1.5 .

Empezar

Para comenzar, descargue los modelos y póngalos en esta carpeta.

git lfs install

Modelo nómico

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

Modelo BGE

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

Modelo mxbai

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

Manifestación

Verifique el ejemplo.ipynb