BachelorProject

基於AYA的及時分類和評估

該存儲庫為使用預訓練的語言模型提供了一個基於及時分類的框架，重點是波斯文本分類任務。它包括用於生成提示的腳本和筆記本，進行分類的微調提示，評估結果以及分析模型性能指標，例如F1得分，精度和召回。存儲庫還支持K-Shot學習，以通過合併相關示例來增強模型適應性。

項目結構

• 代碼：包含用於模型培訓，及時生成和評估的核心代碼和筆記本。

  • AYA-Colab.ipynb ：培訓和微調提示的主要筆記本，並在Colab上使用AYA模型。
  • Classification_report.ipynb ：生成分類指標，包括不同提示設置的F1分數，精度和召回。
  • Creating_dataset.ipynb ：數據準備和數據集創建，用於及時的學習。
  • f1-calculation.py腳本以計算和可視化F1分數。
  • news-aya-symbol-tuning.ipynb ：基於符號的調諧筆記本，使用AYA模型用於文本分類。
  • news-aya-system-user-prompt.ipynb提示的腳本。
  • Symbol_tuning_aya.ipynb ：用於優化及時有效性的符號調整筆記本。

• 數據集：包含用於培訓和評估的數據集。

• 提示：包含用於各種分類任務的提示模板。

• 幻燈片：文檔和演示文件，解釋了秘密學習，及時設計，K-shot學習和符號調整。

  • In-Context Learning.pptx ＆ In-Context Learning.pdf ：有關使用文字內在學習進行模型調整的詳細信息。
  • System-User Prompt Design.pptx和System-User Prompt Design.pdf ：設計系統和用戶提示指南。
  • Symbol Tuning.pptx和Symbol Tuning.pdf ：使用符號調整提高及時性能的說明。

關鍵功能

• 基於及時的分類：使用語言模型的提示對文本進行分類的框架。該系統允許動態生成提示，集成用戶定義的輸入和系統提示以進行靈活的文本分類。
• K-shot學習：支持K-shot學習，其中為模型提供了K相關示例，以提高特定任務的性能。
• 評估指標：提供用於全面評估的工具，包括準確性，F1分數，精度和召回率。結果可以保存，可以通過混亂矩陣和分類報告可視化。
• 符號調整：通過使用符號和其他基於及時的修改來調整和完善提示的技術，從而增強對特定查詢的模型響應能力。
• 內部文化學習：文檔和對內部文化學習的支持，以提高基於及時的模型適應性，並在及時上下文中使用示例。

設置說明

1. 克隆存儲庫：

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. 安裝所需的軟件包：

   pip install -r requirements.txt

3. 用擁抱面（如有必要）進行身份驗證，並安裝其他庫：

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. 在Codes目錄中運行任何筆記本或Python腳本，以執行諸如DataSet創建，及時調整或評估之類的任務。

用法

生成提示和運行分類

• News-Aya-System-user-prompt.ipynb ：本筆記本提供了用於生成系統和用戶提示並在新聞數據集上執行分類的端到端管道。 Generator類加載預訓練的語言模型，格式提示並生成預測。該腳本支持4位量化，以進行有效的內存使用情況，並利用用戶提供的提示將波斯新聞數據分類為“重要”或“不重要”。

評估和指標

• 分類_report.ipynb ：用準確性，精度，召回和F1分數等指標評估模型性能。它包括k折交叉驗證並產生詳細的分類報告。
• f1-calculation.py ：通過類別分解，計算和可視化F1分數以進行分類結果。可以生成混淆矩陣和摘要表以了解跨類別的模型性能。

k-shot學習

• 迅速的生成管道支持K-shot學習，其中K使用TF-IDF相似性從訓練集中檢索了K最相似的示例。這通過為模型提供上下文相關的示例來增強基於及時的分類。

符號調整

• news-aya-symbol-tuning.ipynb和Symbol_tuning_aya.ipynb之類的筆記本旨在微調提示符號，這可以提高模型可解釋性和響應一致性。符號調整引入了對提示的小調整，從而增強了模型對細微疑問的理解。

示例工作流程

1. 數據準備：使用Creating_dataset.ipynb進行預處理和格式化數據集。
2. 及時生成：加載news-aya-system-user-prompt.ipynb來定義系統和用戶提示，並在數據集上運行分類。
3. 評估：使用Classification_report.ipynb來計算準確性和f1得分和f1-calculation.py等指標可視化性能。
4. 符號調整：運行news-aya-symbol-tuning.ipynb以使用符號調整來完善及時設計。

未來的增強

• 及時優化：進一步完善及時生成方法，以支持更複雜的分類任務。
• 微調：在自定義數據集上合併模型微調以提高模型適應性。
• 擴展的K-shot學習：實驗可變的k值以優化封閉式學習。
• 符號調整增強功能：擴展符號調整技術以處理更廣泛的任務和用戶上下文。

執照

該項目已根據MIT許可獲得許可。

貢獻

歡迎捐款！隨時提交問題，功能請求或提取請求以增強該項目。