UA LLM

Ua-llm: LLM para la PNL ucraniana

Este repositorio contiene tuberías completas, así como scripts y componentes individuales, que ayudan a adaptar, entrenar, evaluar y aprovechar varios modelos de idiomas grandes (LLM) para una amplia gama de tareas de PNL ucranianas.

Instalación

Para usar el código en este repositorio, debe instalarse conDA en su sistema. Luego puede crear un nuevo entorno de Conda con las dependencias requeridas ejecutando el siguiente comando:

 conda env create -f environment.yml

Esto creará un nuevo entorno de conda llamado ua-llm con todas las dependencias requeridas instaladas. Luego puede activar este entorno ejecutando el siguiente comando:

 conda activate ua-llm
pre-commit install  # required only for contributors

Uso

Obtenga sus credenciales de acceso del proveedor de LLM.

Vaya al directorio del código fuente:

 cd src

Complete las configuraciones del modelo con credenciales obtenidas. Vea el comando de ejemplo a continuación para el proveedor de OpenAI.

 python tools/set_auth.py --openai_org_id <your_org> --openai_api_key <your_api_key>

o use el comando similar al siguiente para cualquier otro proveedor de LLM compatible (ejecute con --help para ver la lista de argumentos).

 python tools/set_auth.py --cohere_api_key <your_api_key>

Ejecute la tarea de ejemplo para obtener predicciones y evaluarlas (tenga en cuenta que el proveedor de LLM le cobrará para cada solicitud, por lo que es mejor ejecutar el siguiente comando con suscripción de prueba o clave API):

 python main.py +task=qa_eval_task

Como resultado, obtendrá la siguiente salida:

Siéntase libre de explorar la configuración de la tarea de evaluación y otros archivos en configs/ directorio para obtener más detalles sobre la tarea y cómo funciona. También es posible que desee aprender más sobre Hydra Framework y Omegaconf.

Ahora está listo para usar sus propios conjuntos de datos para evaluar o adaptar cualquier tarea compatible para sus necesidades específicas.

LLMS compatible

• Modelos OpenAI GPT
• Comando cohere
• Replicate.com Models (Llama, Mistral, etc.)

Tareas compatibles

• Respuesta de preguntas basada en el contexto (CBQA)

 python main.py +task=qa_predict_task

• Preguntas basadas en el contexto Respondiendo la generación/anotación de datos

 python main.py +task=qa_annotate_task

Que contribuye

Si desea contribuir a este repositorio, cree una nueva rama y envíe una solicitud de extracción con sus cambios. ¡Cualquier contribución es bienvenida!

Licencia

Este repositorio tiene licencia bajo la licencia Apache 2.0. Consulte el archivo de licencia para obtener más detalles.