BachelorProject

基于AYA的及时分类和评估

该存储库为使用预训练的语言模型提供了一个基于及时分类的框架，重点是波斯文本分类任务。它包括用于生成提示的脚本和笔记本，进行分类的微调提示，评估结果以及分析模型性能指标，例如F1得分，精度和召回。存储库还支持K-Shot学习，以通过合并相关示例来增强模型适应性。

项目结构

• 代码：包含用于模型培训，及时生成和评估的核心代码和笔记本。

  • AYA-Colab.ipynb ：培训和微调提示的主要笔记本，并在Colab上使用AYA模型。
  • Classification_report.ipynb ：生成分类指标，包括不同提示设置的F1分数，精度和召回。
  • Creating_dataset.ipynb ：数据准备和数据集创建，用于及时的学习。
  • f1-calculation.py脚本以计算和可视化F1分数。
  • news-aya-symbol-tuning.ipynb ：基于符号的调谐笔记本，使用AYA模型用于文本分类。
  • news-aya-system-user-prompt.ipynb ：用于使用预训练的语言模型生成系统和用户提示的脚本。
  • Symbol_tuning_aya.ipynb ：用于优化及时有效性的符号调整笔记本。

• 数据集：包含用于培训和评估的数据集。

• 提示：包含用于各种分类任务的提示模板。

• 幻灯片：文档和演示文件，解释了秘密学习，及时设计，K-shot学习和符号调整。

  • In-Context Learning.pptx ＆ In-Context Learning.pdf ：有关使用文字内在学习进行模型调整的详细信息。
  • System-User Prompt Design.pptx和System-User Prompt Design.pdf ：设计系统和用户提示指南。
  • Symbol Tuning.pptx和Symbol Tuning.pdf ：使用符号调整提高及时性能的说明。

关键功能

• 基于及时的分类：使用语言模型的提示对文本进行分类的框架。该系统允许动态生成提示，集成用户定义的输入和系统提示以进行灵活的文本分类。
• K-shot学习：支持K-shot学习，其中为模型提供了K相关示例，以提高特定任务的性能。
• 评估指标：提供用于全面评估的工具，包括准确性，F1分数，精度和召回率。结果可以保存，可以通过混乱矩阵和分类报告可视化。
• 符号调整：通过使用符号和其他基于及时的修改来调整和完善提示的技术，从而增强对特定查询的模型响应能力。
• 内部文化学习：文档和对内部文化学习的支持，以提高基于及时的模型适应性，并在及时上下文中使用示例。

设置说明

1. 克隆存储库：

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. 安装所需的软件包：

   pip install -r requirements.txt

3. 用拥抱面（如有必要）进行身份验证，并安装其他库：

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. 在Codes目录中运行任何笔记本或Python脚本，以执行诸如DataSet创建，及时调整或评估之类的任务。

用法

生成提示和运行分类

• News-Aya-System-user-prompt.ipynb ：本笔记本提供了用于生成系统和用户提示并在新闻数据集上执行分类的端到端管道。 Generator类加载预训练的语言模型，格式提示并生成预测。该脚本支持4位量化，以进行有效的内存使用情况，并利用用户提供的提示将波斯新闻数据分类为“重要”或“不重要”。

评估和指标

• 分类_report.ipynb ：用准确性，精度，召回和F1分数等指标评估模型性能。它包括k折交叉验证并产生详细的分类报告。
• f1-calculation.py ：通过类别分解，计算和可视化F1分数以进行分类结果。可以生成混淆矩阵和摘要表以了解跨类别的模型性能。

k-shot学习

• 迅速的生成管道支持K-shot学习，其中K使用TF-IDF相似性从训练集中检索了K最相似的示例。这通过为模型提供上下文相关的示例来增强基于及时的分类。

符号调整

• news-aya-symbol-tuning.ipynb和Symbol_tuning_aya.ipynb之类的笔记本旨在微调提示符号，这可以提高模型可解释性和响应一致性。符号调整引入了对提示的小调整，从而增强了模型对细微疑问的理解。

示例工作流程

1. 数据准备：使用Creating_dataset.ipynb进行预处理和格式化数据集。
2. 及时生成：加载news-aya-system-user-prompt.ipynb来定义系统和用户提示，并在数据集上运行分类。
3. 评估：使用Classification_report.ipynb来计算准确性和f1得分和f1-calculation.py等指标可视化性能。
4. 符号调整：运行news-aya-symbol-tuning.ipynb以使用符号调整来完善及时设计。

未来的增强

• 及时优化：进一步完善及时生成方法，以支持更复杂的分类任务。
• 微调：在自定义数据集上合并模型微调以提高模型适应性。
• 扩展的K-shot学习：实验可变的k值以优化封闭式学习。
• 符号调整增强功能：扩展符号调整技术以处理更广泛的任务和用户上下文。

执照

该项目已根据MIT许可获得许可。

贡献

欢迎捐款！随时提交问题，功能请求或提取请求以增强该项目。