BachelorProject

Clasificación y evaluación basadas en un aviso de AYA

Este repositorio proporciona un marco para la clasificación basada en el aviso utilizando modelos de lenguaje previamente capacitados, con un enfoque en las tareas de clasificación de texto persa. Incluye scripts y cuadernos para generar indicaciones, indicaciones ajustadas para la clasificación, evaluar los resultados y analizar las métricas de rendimiento del modelo, como la puntuación F1, la precisión y el retiro. El repositorio también admite el aprendizaje K-SHOT para mejorar la adaptabilidad del modelo mediante la incorporación de ejemplos relevantes.

Estructura de proyectos

• Códigos : contiene el código central y los cuadernos para la capacitación de modelos, la generación de inmediato y la evaluación.

  • AYA-Colab.ipynb : cuaderno principal para capacitación y indicaciones de ajuste con modelos AYA en Colab.
  • Classification_report.ipynb : genera métricas de clasificación, incluida la puntuación F1, la precisión y el retiro para diferentes configuraciones de inmediato.
  • Creating_dataset.ipynb : preparación de datos y creación de conjuntos de datos para el aprendizaje basado en el aviso.
  • f1-calculation.py : script de pitón para calcular y visualizar las puntuaciones F1.
  • news-aya-symbol-tuning.ipynb : cuaderno para ajuste basado en símbolos con modelos AYA para la clasificación de texto.
  • news-aya-system-user-prompt.ipynb : script para generar el sistema y las indicaciones del usuario utilizando un modelo de lenguaje previamente capacitado.
  • Symbol_tuning_aya.ipynb : cuaderno de sintonización del símbolo para optimizar la efectividad rápida.

• Conjuntos de datos : contiene conjuntos de datos utilizados para capacitación y evaluación.

• Solicitudes : contiene plantillas de solicitud utilizadas para varias tareas de clasificación.

• Diapositivas : documentación y archivos de presentación que explican el aprendizaje en contexto, el diseño rápido, el aprendizaje K-shot y el ajuste de los símbolos.

  • In-Context Learning.pptx & In-Context Learning.pdf : Detalles sobre el uso de aprendizaje en contexto para el ajuste del modelo.
  • System-User Prompt Design.pptx y System-User Prompt Design.pdf : Guía para el diseño del sistema y las indicaciones del usuario.
  • Symbol Tuning.pptx & Symbol Tuning.pdf : Instrucciones sobre el uso de la sintonización de símbolos para mejorar el rendimiento rápido.

Características clave

• Clasificación basada en el aviso : Marco para clasificar el texto utilizando las indicaciones con un modelo de idioma. El sistema permite la generación dinámica de indicaciones, integrando entradas definidas por el usuario y indicaciones del sistema para una clasificación de texto flexible.
• Learning K-Shot : admite el aprendizaje K-shot donde el modelo se proporciona con K ejemplos relevantes para mejorar el rendimiento en tareas específicas.
• Métricas de evaluación : proporciona herramientas para una evaluación integral, incluida la precisión, la puntuación F1, la precisión y el retiro. Los resultados se guardan y se pueden visualizar a través de matrices de confusión e informes de clasificación.
• Ajuste de símbolos : técnicas para ajustar y refinar las indicaciones mediante el uso de símbolos y otras modificaciones basadas en el aviso, mejorando la capacidad de respuesta del modelo a consultas específicas.
• Aprendizaje en contexto : documentación y soporte para el aprendizaje en contexto para mejorar la adaptabilidad del modelo basado en el aviso con ejemplos en el contexto rápido.

Instrucciones de configuración

1. Clon el repositorio:

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. Instale los paquetes requeridos:

   pip install -r requirements.txt

3. Autenticarse con la cara abrazada (si es necesario) e instalar bibliotecas adicionales:

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. Ejecute cualquiera de los cuadernos o scripts de Python en el directorio Codes para realizar tareas como la creación del conjunto de datos, el ajuste de inmediato o la evaluación.

Uso

Generación de indicaciones y clasificación en ejecución

• News-aya-system-user-prompt.ipynb : este cuaderno proporciona una tubería de extremo a extremo para generar el sistema y las indicaciones del usuario y realizar clasificaciones en conjuntos de datos de noticias. La clase Generator carga un modelo de lenguaje previamente capacitado, los formatos indica y genera predicciones. El script admite una cuantización de 4 bits para el uso de memoria eficiente y aprovecha las indicaciones proporcionadas por el usuario que clasifiquen los datos de noticias persa como "importantes" o "no importantes".

Evaluación y métricas

• Clasificación_report.ipynb : evalúa el rendimiento del modelo con métricas como precisión, precisión, recuperación y puntaje F1. Incluye la validación cruzada K-Fold y produce informes de clasificación detallados.
• F1-Calculation.py : calcula y visualiza las puntuaciones F1 para los resultados de clasificación, con desgloses de categoría. Se pueden generar matrices de confusión y tablas de resumen para comprender el rendimiento del modelo en todas las categorías.

Aprendizaje de K-shot

• La tubería de generación de aviso es compatible con el aprendizaje K-Shot, donde K más similares se recuperan del conjunto de capacitación utilizando similitud TF-IDF. Esto mejora la clasificación basada en el aviso al proporcionar al modelo ejemplos contextualmente relevantes.

Ajuste de símbolos

• Los cuadernos como news-aya-symbol-tuning.ipynb y Symbol_tuning_aya.ipynb están diseñados para ajustar los símbolos de inmediato, lo que puede mejorar la interpretabilidad del modelo y la consistencia de la respuesta. La sintonización del símbolo introduce ajustes menores en las indicaciones, lo que mejora la comprensión del modelo de consultas matizadas.

Ejemplo de flujo de trabajo

1. Preparación de datos : use Creating_dataset.ipynb para preprocesar y formatear su conjunto de datos.
2. Generación de pedido : Cargue news-aya-system-user-prompt.ipynb para definir las indicaciones del sistema y el usuario, y ejecute la clasificación en el conjunto de datos.
3. Evaluación : use Classification_report.ipynb para calcular métricas como la precisión y la puntuación F1 y f1-calculation.py para visualizar el rendimiento.
4. Ajuste del símbolo : ejecute news-aya-symbol-tuning.ipynb para refinar el diseño rápido con ajuste de símbolos.

Mejoras futuras

• Optimización rápida : Refina aún más los métodos de generación de aviso para admitir tareas de clasificación más complejas.
• Ajuste fino : incorpore el modelo ajustado en conjuntos de datos personalizados para mejorar la adaptabilidad del modelo.
• Learning extendido de K-shot : experimente con valores de K variables para optimizar el aprendizaje en contexto.
• Mejoras de sintonización de símbolos : extienda las técnicas de ajuste de símbolos para manejar una gama más amplia de tareas y contextos de usuario.

Licencia

Este proyecto tiene licencia bajo la licencia MIT.

Que contribuye

¡Las contribuciones son bienvenidas! No dude en enviar problemas, solicitudes de funciones o solicitudes de extraer para mejorar este proyecto.