BachelorProjectダウンロードBachelorProjectソースコードのダウンロード

BachelorProject

AI ソースコード

1.0.0

ダウンロード

AYAプロンプトベースの分類と評価

このリポジトリは、ペルシャのテキスト分類タスクに焦点を当てた、事前に訓練された言語モデルを使用したプロンプトベースの分類のフレームワークを提供します。プロンプトを生成するためのスクリプトとノートブック、分類のための微調整プロンプト、結果の評価、F1スコア、精度、リコールなどのモデルパフォーマンスメトリックの分析が含まれています。リポジトリは、関連する例を組み込むことにより、モデルの適応性を高めるK-Shot Learningもサポートしています。

プロジェクト構造

コード：モデルトレーニング、迅速な生成、および評価のためのコアコードとノートブックが含まれています。
- AYA-Colab.ipynb ：colabのAYAモデルを使用したトレーニングと微調整プロンプトのメインノートブック。
- Classification_report.ipynb ：さまざまなプロンプトセットアップのF1スコア、精度、リコールなどの分類メトリックを生成します。
- Creating_dataset.ipynb ：プロンプトベースの学習のためのデータ準備とデータセット作成。
- f1-calculation.pyスコアを計算および視覚化するPythonスクリプト。
- news-aya-symbol-tuning.ipynb ：テキスト分類のためのAYAモデルを使用したシンボルベースのチューニング用のノートブック。
- news-aya-system-user-prompt.ipynb ：事前に訓練された言語モデルを使用して、システムとユーザープロンプトを生成するためのスクリプト。
- Symbol_tuning_aya.ipynb ：迅速な有効性を最適化するためのシンボルチューニングノートブック。
データセット：トレーニングと評価に使用されるデータセットが含まれています。
プロンプト：さまざまな分類タスクに使用されるプロンプトテンプレートが含まれています。
スライド：コンテキスト内学習、プロンプトデザイン、Kショット学習、およびシンボルチューニングを説明するドキュメンテーションおよびプレゼンテーションファイル。
- In-Context Learning.pptx ＆ In-Context Learning.pdf ：モデルチューニングにコンテキスト内学習を使用する詳細。
- System-User Prompt Design.pptx ＆ System-User Prompt Design.pdf ：システムとユーザープロンプトの設計ガイド。
- Symbol Tuning.pptx ＆ Symbol Tuning.pdf ：シンボルチューニングを使用してプロンプトのパフォーマンスを向上させる手順。

重要な機能

プロンプトベースの分類：言語モデルを使用してプロンプトを使用してテキストを分類するフレームワーク。このシステムにより、プロンプトの動的生成が可能になり、ユーザー定義の入力とシステムプロンプトを統合して、柔軟なテキスト分類を行います。
K-Shot Learning ：特定のタスクのパフォーマンスを改善するために、モデルに関連例が提供されているK-Shot Learningをサポートします。
評価メトリック：精度、F1スコア、精度、リコールなど、包括的な評価のためのツールを提供します。結果は保存され、混乱マトリックスと分類レポートを通じて視覚化できます。
シンボルチューニング：シンボルやその他のプロンプトベースの変更を使用して、プロンプトを調整および改良する手法で、特定のクエリに対するモデル応答性を高めます。
コンテキスト内学習：インプロセスのコンテキストでの例を使用して、プロンプトベースのモデル適応性を改善するためのコンテキスト内学習のドキュメントとサポート。

セットアップ手順

リポジトリをクローンします：

git clone https://github.com/ShayanSalehi81/BachelorProject
cd BachelorProject

必要なパッケージをインストールします。
```
pip install -r requirements.txt
```
抱きしめる顔（必要に応じて）で認証し、追加のライブラリをインストールします。
```
huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN
```
CodesディレクトリでノートブックまたはPythonスクリプトを実行して、データセットの作成、迅速なチューニング、評価などのタスクを実行します。

使用法

プロンプトの生成とランニング分類

News-Aya-System-User-Prompt.ipynb ：このノートブックは、システムとユーザープロンプトを生成するためのエンドツーエンドのパイプラインを提供し、ニュースデータセットで分類を実行します。 Generatorクラスは、事前に訓練された言語モデルをロードし、プロンプトをフォーマットし、予測を生成します。このスクリプトは、効率的なメモリ使用量の4ビット量子化をサポートし、ユーザーが提供するプロンプトを活用して、ペルシャ語のニュースデータを「重要」または「重要ではない」と分類します。

評価とメトリック

classification_report.ipynb ：精度、精度、リコール、F1スコアなどのメトリックでモデルパフォーマンスを評価します。 K倍の交差検証が含まれており、詳細な分類レポートが生成されます。
F1-Calculation.py ：分類結果のF1スコアを計算および視覚化し、カテゴリごとの内訳を視覚化します。混乱マトリックスと概要表を生成して、カテゴリ全体でモデルのパフォーマンスを理解できます。

Kショット学習

プロンプトジェネレーションパイプラインはK-Shot Learningをサポートします。ここで、Kのほとんどの類似例は、TF-IDFの類似性を使用してトレーニングセットから取得されます。これにより、コンテキストに関連する例をモデルに提供することにより、プロンプトベースの分類が強化されます。

シンボルチューニング

news-aya-symbol-tuning.ipynbやSymbol_tuning_aya.ipynbなどのノートブックは、モデルの解釈可能性と応答の一貫性を改善できる迅速なシンボルを微調整するように設計されています。シンボルチューニングは、プロンプトにマイナーな調整を導入し、微妙なクエリのモデルの理解を高めます。

ワークフローの例

データの準備： Creating_dataset.ipynbを使用して、データセットを前処理およびフォーマットします。
プロンプトの生成：システムとユーザーのプロンプトを定義し、データセットで分類を実行するために、 news-aya-system-user-prompt.ipynbをロードします。
評価： Classification_report.ipynbを使用して、精度やF1スコア、 f1-calculation.pyなどのメトリックを計算してパフォーマンスを視覚化します。
シンボルチューニング： news-aya-symbol-tuning.ipynbを実行して、シンボルチューニングで迅速なデザインを改良します。