BachelorProject

Aya Classificação e avaliação baseada

Esse repositório fornece uma estrutura para classificação rápida baseada em modelos de idiomas pré-treinados, com foco nas tarefas de classificação de texto persa. Inclui scripts e notebooks para gerar instruções, avisos de ajuste fino para classificação, avaliar resultados e analisar métricas de desempenho do modelo, como pontuação F1, precisão e recall. O repositório também suporta o aprendizado de K-Shot para aprimorar a adaptabilidade do modelo, incorporando exemplos relevantes.

Estrutura do projeto

• Códigos : contém o código principal e os notebooks para treinamento de modelos, geração imediata e avaliação.

  • AYA-Colab.ipynb : Notebook principal para treinamento e ajuste fino com os modelos AYA no Colab.
  • Classification_report.ipynb : gera métricas de classificação, incluindo pontuação F1, precisão e recall para diferentes configurações de prompt.
  • Creating_dataset.ipynb : preparação de dados e criação de dados para aprendizado rápido.
  • f1-calculation.py : script Python para calcular e visualizar as pontuações de F1.
  • news-aya-symbol-tuning.ipynb : Notebook para ajuste baseado em símbolos com modelos AYA para classificação de texto.
  • news-aya-system-user-prompt.ipynb : Script para gerar instruções de sistema e usuário usando um modelo de idioma pré-treinado.
  • Symbol_tuning_aya.ipynb : notebook de ajuste do símbolo para otimizar a eficácia imediata.

• Conjuntos de dados : contém conjuntos de dados usados ​​para treinamento e avaliação.

• Prompts : contém modelos de prompt usados ​​para várias tarefas de classificação.

• Slides : Arquivos de documentação e apresentação explicando aprendizado no contexto, design rápido, aprendizado de K-Shot e ajuste de símbolos.

  • In-Context Learning.pptx & In-Context Learning.pdf : Detalhes sobre o uso do Aprendizagem no Contexto para o ajuste do modelo.
  • System-User Prompt Design.pptx & System-User Prompt Design.pdf : Guia para projetar o sistema e os avisos do usuário.
  • Symbol Tuning.pptx & Symbol Tuning.pdf : Instruções sobre o uso do ajuste do símbolo para melhorar o desempenho imediato.

Principais recursos

• CLASSIFICAÇÃO PROMPENDA : estrutura para classificar o texto usando prompts com um modelo de idioma. O sistema permite geração dinâmica de instruções, integrando entradas e solicitações de sistema definidas pelo usuário para obter uma classificação flexível de texto.
• K-Shot Learning : suporta a aprendizagem do K-Shot, onde o modelo é fornecido com os exemplos relevantes para melhorar o desempenho em tarefas específicas.
• Métricas de avaliação : fornece ferramentas para avaliação abrangente, incluindo precisão, pontuação de F1, precisão e recall. Os resultados são salvos e podem ser visualizados por meio de matrizes de confusão e relatórios de classificação.
• Ajuste do símbolo : técnicas para ajustar e refinar os avisos usando símbolos e outras modificações rápidas, aprimorando a capacidade de resposta do modelo a consultas específicas.
• Aprendizagem no Contexto : Documentação e Suporte para Aprendizagem no Contexto Para melhorar a Adaptabilidade de Modelo Premido com Exemplos no Contexto Primitivo.

Instruções de configuração

1. Clone o repositório:

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. Instale os pacotes necessários:

   pip install -r requirements.txt

3. Autentique com o rosto abraçado (se necessário) e instalar bibliotecas adicionais:

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. Execute qualquer um dos notebooks ou scripts Python no diretório Codes para executar tarefas como criação de dados, ajuste imediato ou avaliação.

Uso

Gerando prompts e executando classificação

• Notícias-Aya-System-User-Prompt.ipynb : Este notebook fornece um pipeline de ponta a ponta para gerar instruções de sistema e usuário e executar a classificação nos conjuntos de dados de notícias. A classe Generator carrega um modelo de idioma pré-treinado, os formatos solicita e gera previsões. O script suporta quantização de 4 bits para uso eficiente da memória e aproveita os avisos fornecidos pelo usuário para classificar os dados de notícias persas como "importantes" ou "não importantes".

Avaliação e métricas

• Classificação_report.ipynb : avalia o desempenho do modelo com métricas como precisão, precisão, recall e pontuação de F1. Inclui validação cruzada-dobrada e produz relatórios de classificação detalhados.
• F1-calculação.py : calcula e visualiza as pontuações da F1 para os resultados da classificação, com quebras de categoria. Matrizes de confusão e tabelas de resumo podem ser geradas para entender o desempenho do modelo nas categorias.

Aprendizagem de K-Shot

• O pipeline de geração imediata suporta o aprendizado do K-Shot, onde K Exemplos mais semelhantes são recuperados do conjunto de treinamento usando a similaridade do TF-IDF. Isso aprimora a classificação rápida, fornecendo ao modelo exemplos contextualmente relevantes.

Ajuste do símbolo

• Notebooks como news-aya-symbol-tuning.ipynb e Symbol_tuning_aya.ipynb são projetados para ajustar símbolos imediatos, o que pode melhorar a interpretabilidade do modelo e a consistência da resposta. O ajuste do símbolo introduz pequenos ajustes nos avisos, aprimorando a compreensão do modelo de consultas diferenciadas.

Exemplo de fluxo de trabalho

1. Preparação de dados : use Creating_dataset.ipynb para pré -processamento e formatar seu conjunto de dados.
2. Geração de prompt : carregar news-aya-system-user-prompt.ipynb para definir os avisos do sistema e do usuário e executar a classificação no conjunto de dados.
3. Avaliação : use Classification_report.ipynb para calcular métricas como precisão e pontuação F1 e f1-calculation.py para visualizar o desempenho.
4. Símbolo Tuning : Execute news-aya-symbol-tuning.ipynb para refinar o design imediato com o ajuste do símbolo.

Aprimoramentos futuros

• Otimização imediata : refine ainda mais os métodos de geração imediata para suportar tarefas de classificação mais complexas.
• Ajuste fina : incorpore o ajuste fino do modelo nos conjuntos de dados personalizados para melhorar a adaptabilidade do modelo.
• Aprendizagem prolongada de K-Shot : Experimente os valores variáveis ​​de K para otimizar o aprendizado no contexto.
• Aprimoramentos de ajuste do símbolo : estenda as técnicas de ajuste do símbolo para lidar com uma gama mais ampla de tarefas e contextos do usuário.

Licença

Este projeto está licenciado sob a licença do MIT.

Contribuindo

As contribuições são bem -vindas! Sinta -se à vontade para enviar questões, solicitações de recursos ou obter solicitações para aprimorar este projeto.