BachelorProject

AYA на основе оперативной классификации и оценки

Этот репозиторий обеспечивает основу для классификации на основе быстрого на основе быстрого использования с использованием предварительно обученных языковых моделей с акцентом на задачи классификации персидского текста. Он включает в себя сценарии и записные книжки для создания подсказок, подсказок с тонкой настройкой для классификации, оценки результатов и анализа показателей производительности модели, таких как оценка F1, точность и отзыв. Репозиторий также поддерживает обучение K-ST для повышения адаптивности модели путем включения соответствующих примеров.

Структура проекта

• Коды : содержит основной код и ноутбуки для обучения модели, генерации быстрого обращения и оценки.

  • AYA-Colab.ipynb : основная записная книжка для обучения и настройки подсказок с моделями AYA на Colab.
  • Classification_report.ipynb : генерирует метрики классификации, включая оценку F1, точность и отзыв для различных настройки подсказки.
  • Creating_dataset.ipynb : подготовка данных и создание наборов данных для обучения на основе быстрого обучения.
  • f1-calculation.py : сценарий Python для расчета и визуализации баллов F1.
  • news-aya-symbol-tuning.ipynb : ноутбук для настройки на основе символов с моделями AYA для классификации текста.
  • news-aya-system-user-prompt.ipynb : Скрипт для генерации системных и пользовательских подсказок с использованием предварительно обученной языковой модели.
  • Symbol_tuning_aya.ipynb : ноутбук для настройки символов для оптимизации оперативной эффективности.

• Наборы данных : содержит наборы данных, используемые для обучения и оценки.

• Подсказки : содержит шаблоны приглашения, используемые для различных задач классификации.

• Слайды : файлы документации и презентации, объясняющие встроенное обучение, быстрый дизайн, обучение K-STO и настройку символов.

  • In-Context Learning.pptx & In-Context Learning.pdf : Подробная информация об использовании встроенного обучения для настройки модели.
  • System-User Prompt Design.pptx & System-User Prompt Design.pdf : Руководство по проектированию системы и пользовательских подсказок.
  • Symbol Tuning.pptx & Symbol Tuning.pdf : Инструкции по использованию настройки символов для повышения оперативной производительности.

Ключевые функции

• Классификация на основе быстрого на основе приглашения : структура для классификации текста с использованием подсказок с языковой моделью. Система позволяет динамическому генерированию подсказок, интегрируя пользовательские входы и системные подсказки для гибкой классификации текста.
• K-Shot Learning : поддерживает обучение K-shot, где модель предоставлена ​​k соответствующих примеров для повышения производительности в конкретных задачах.
• Метрики оценки : предоставляет инструменты для комплексной оценки, включая точность, оценку F1, точность и отзыв. Результаты сохраняются и могут быть визуализированы с помощью матриц путаницы и отчетов о классификации.
• Настройка символов : методы для регулировки и уточнения подсказок с использованием символов и других модификаций на основе быстрого на основе быстрого на основе быстрого на основе быстрого на основе приглашения, повышая отзывчивость модели на конкретные запросы.
• Внутреннее обучение : документация и поддержка для обучения в контексте для повышения адаптации модели на основе быстрого на основе быстрого на основе быстрого на основе быстрого на основе модели с примерами в быстром контексте.

Инструкции по настройке

1. Клонировать репозиторий:

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. Установите необходимые пакеты:

   pip install -r requirements.txt

3. Аутентификация с обнимающим лицом (при необходимости) и установите дополнительные библиотеки:

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. Запустите любой из ноутбуков или сценариев Python в каталоге Codes , чтобы выполнить такие задачи, как создание набора данных, настройка или оценка.

Использование

Генерирование подсказок и запуск классификации

• News-AYA-System-USER-PROMPT.IPYNB : В этом ноутбуке представлен сквозная конвейер для создания системных и пользовательских подсказок и выполнения классификации в наборах данных новостей. Класс Generator загружает предварительно обученную языковую модель, подсказывает форматы и генерирует прогнозы. Скрипт поддерживает 4-битное квантование для эффективного использования памяти и использует предоставленные пользователя подсказки для классификации данных персидских новостей как «важных» или «не важно».

Оценка и метрики

• Classification_report.ipynb : оценивает производительность модели с такими метриками, как точность, точность, отзыв и оценка F1. Он включает в себя K-образной перекрестной проверки и дает подробные отчеты о классификации.
• f1-calculation.py : расчета и визуализирует оценки F1 для результатов классификации, с категорией по сбоям. Матрицы путаницы и сводные таблицы могут быть сгенерированы для понимания производительности модели по категориям.

K-Shot Learning

• Произображение быстрого генерации поддерживает обучение K-STO, где k наиболее похожие примеры извлекаются из обучающего набора с использованием сходства TF-IDF. Это повышает классификацию на основе быстрых, предоставляя модели контекстуально релевантные примеры.

Настройка символов

• Записные книжки, такие как news-aya-symbol-tuning.ipynb и Symbol_tuning_aya.ipynb , предназначены для символов с тонкой настройкой, которые могут улучшить интерпретацию модели и согласованность ответа. Настройка символов вносит незначительные корректировки подсказок, улучшая понимание нюансированных запросов модели.

Пример рабочий процесс

1. Подготовка данных : Используйте Creating_dataset.ipynb для предварительной обработки и отформатировать ваш набор данных.
2. Генерация приглашения : загрузить news-aya-system-user-prompt.ipynb для определения системных и пользовательских подсказок и запуска классификации в наборе данных.
3. Оценка : Используйте Classification_report.ipynb для расчета метрик, таких как точность и оценка F1 и f1-calculation.py для визуализации производительности.
4. Настройка символов : запустите news-aya-symbol-tuning.ipynb чтобы уточнить быстрый дизайн с помощью настройки символов.

Будущие улучшения

• Оптимизация быстрого : дополнительно уточнить методы генерации быстрого обращения для поддержки более сложных задач классификации.
• Точная настройка : включите модель точную настройку в пользовательские наборы данных для улучшения адаптивности модели.
• Расширенное обучение K-Shot : экспериментируйте с переменными значениями k, чтобы оптимизировать встроенное обучение.
• Улучшения настройки символов : расширяйте методы настройки символов для обработки более широкого диапазона задач и пользовательских контекстов.

Лицензия

Этот проект лицензирован по лицензии MIT.

Внося

Взносы приветствуются! Не стесняйтесь отправлять проблемы, запросы на функции или обращать запросы для улучшения этого проекта.