BachelorProject

AYA 프롬프트 기반 분류 및 평가

이 저장소는 페르시아어 텍스트 분류 작업에 중점을 둔 미리 훈련 된 언어 모델을 사용하여 프롬프트 기반 분류를위한 프레임 워크를 제공합니다. 여기에는 프롬프트 생성을위한 스크립트 및 노트북, 분류를위한 미세 조정 프롬프트, 결과 평가 및 F1 점수, 정밀도 및 리콜과 같은 모델 성능 지표 분석이 포함됩니다. 이 저장소는 또한 관련 예제를 통합하여 모델 적응성을 향상시키는 K-Shot 학습을 지원합니다.

프로젝트 구조

• 코드 : 모델 교육, 신속한 생성 및 평가를위한 핵심 코드 및 노트북이 포함되어 있습니다.

  • AYA-Colab.ipynb : Colab의 AYA 모델로 훈련 및 미세 조정 프롬프트를위한 ​​메인 노트.
  • Classification_report.ipynb : 다른 프롬프트 설정에 대한 F1 점수, 정밀도 및 리콜을 포함한 분류 메트릭을 생성합니다.
  • Creating_dataset.ipynb : 프롬프트 기반 학습을위한 데이터 준비 및 데이터 세트 생성.
  • f1-calculation.py : F1 점수를 계산하고 시각화하는 Python 스크립트.
  • news-aya-symbol-tuning.ipynb : 텍스트 분류를위한 AYA 모델과 함께 기호 기반 튜닝을위한 노트.
  • news-aya-system-user-prompt.ipynb : 미리 훈련 된 언어 모델을 사용하여 시스템 및 사용자 프롬프트를 생성하기위한 스크립트.
  • Symbol_tuning_aya.ipynb : 신속한 효과를 최적화하기위한 Symbol Tuning Notebook.

• 데이터 세트 : 교육 및 평가에 사용되는 데이터 세트가 포함되어 있습니다.

• 프롬프트 : 다양한 분류 작업에 사용되는 신속한 템플릿이 포함되어 있습니다.

• 슬라이드 : 텍스트 내 학습, 신속한 디자인, K- 샷 학습 및 기호 튜닝을 설명하는 문서 및 프레젠테이션 파일.

  • In-Context Learning.pptx 및 In-Context Learning.pdf : 모델 튜닝을위한 컨텍스트 학습 사용에 대한 세부 사항.
  • System-User Prompt Design.pptx & System-User Prompt Design.pdf : 시스템 및 사용자 프롬프트 설계 가이드.
  • Symbol Tuning.pptx 및 Symbol Tuning.pdf : 신속한 성능을 향상시키기 위해 기호 튜닝 사용에 대한 지침.

주요 기능

• 프롬프트 기반 분류 : 언어 모델로 프롬프트를 사용하여 텍스트를 분류하는 프레임 워크. 이 시스템은 유연한 텍스트 분류를 위해 사용자 정의 입력 및 시스템 프롬프트를 통합하여 동적 프롬프트 생성을 허용합니다.
• K-Shot Learning : 특정 작업에 대한 성능을 향상시키기 위해 모델에 K 관련 예제가 제공되는 K-Shot 학습을 지원합니다.
• 평가 지표 : 정확도, F1 점수, 정밀도 및 리콜을 포함한 포괄적 인 평가 도구를 제공합니다. 결과가 저장되고 혼란 행렬 및 분류 보고서를 통해 시각화 될 수 있습니다.
• 기호 튜닝 : 기호 및 기타 프롬프트 기반 수정을 사용하여 프롬프트를 조정하고 개선하는 기술, 특정 쿼리에 대한 모델 응답 성을 향상시킵니다.
• 텍스트 내 학습 : 신속한 컨텍스트의 예제로 프롬프트 기반 모델 적응성을 향상시키기위한 텍스트 내 학습에 대한 문서 및 지원.

설정 지침

1. 저장소 복제 :

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. 필요한 패키지 설치 :

   pip install -r requirements.txt

3. 포옹 얼굴로 인증하고 (필요한 경우) 추가 라이브러리를 설치하십시오.

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. Codes 디렉토리에서 노트북 또는 파이썬 스크립트를 실행하여 데이터 세트 작성, 프롬프트 튜닝 또는 평가와 같은 작업을 수행하십시오.

용법

프롬프트 생성 및 분류 실행

• News-Aaya-System-User-Prompt.ipynb :이 노트북은 시스템 및 사용자 프롬프트를 생성하고 뉴스 데이터 세트에 대한 분류를 수행하기위한 엔드 투 엔드 파이프 라인을 제공합니다. Generator 클래스는 미리 훈련 된 언어 모델을로드하고, 형식 프롬프트 및 예측을 생성합니다. 이 스크립트는 효율적인 메모리 사용을위한 4 비트 양자화를 지원하고 페르시아 뉴스 데이터를 "중요한"또는 "중요하지 않은"것으로 분류하기 위해 사용자가 제공 한 프롬프트를 활용합니다.

평가 및 메트릭

• classification_report.ipynb : 정확도, 정밀, 리콜 및 F1 점수와 같은 메트릭으로 모델 성능을 평가합니다. 여기에는 k- 폴드 교차 검증이 포함되어 있으며 상세한 분류 보고서를 생성합니다.
• F1-Calculation.py : 카테고리 별 고장으로 분류 결과를 위해 F1 점수를 계산하고 시각화합니다. 혼란 매트릭스 및 요약 테이블을 생성하여 카테고리에서 모델 성능을 이해할 수 있습니다.

K- 샷 학습

• Prompt Generation Pipeline은 K-Shot Learning을 지원하며, 여기서 K는 TF-IDF 유사성을 사용하여 교육 세트에서 가장 유사한 예가 검색됩니다. 이는 모델에 상황에 맞는 예제를 제공하여 프롬프트 기반 분류를 향상시킵니다.

기호 튜닝

• news-aya-symbol-tuning.ipynb 및 Symbol_tuning_aya.ipynb 와 같은 노트북은 프롬프트 기호를 미세 조정하도록 설계되어 모델 해석 가능성과 응답 일관성을 향상시킬 수 있습니다. 기호 튜닝은 프롬프트에 대한 약간의 조정을 도입하여 미묘한 쿼리에 대한 모델의 이해를 향상시킵니다.

예제 워크 플로

1. 데이터 준비 : Creating_dataset.ipynb 사용하여 데이터 세트를 전제 및 포맷하십시오.
2. 프롬프트 생성 : news-aya-system-user-prompt.ipynb 를로드하여 시스템 및 사용자 프롬프트를 정의하고 데이터 세트에서 분류를 실행합니다.
3. 평가 : Classification_report.ipynb 사용하여 정확도 및 F1 점수 및 f1-calculation.py 와 같은 메트릭을 계산하여 성능을 시각화하십시오.
4. 기호 튜닝 : 기호 튜닝으로 프롬프트 디자인을 개선하려면 news-aya-symbol-tuning.ipynb 실행합니다.

향후 향상

• 프롬프트 최적화 :보다 복잡한 분류 작업을 지원하기 위해 프롬프트 생성 방법을 추가로 개선합니다.
• 미세 조정 : 모델 적응성을 향상시키기 위해 사용자 정의 데이터 세트에 모델 미세 조정을 통합합니다.
• 확장 된 K-Shot Learning : 가변 K 값을 실험하여 텍스트 내 학습을 최적화합니다.
• 기호 튜닝 향상 : 더 넓은 범위의 작업 및 사용자 컨텍스트를 처리하도록 기호 튜닝 기술을 확장합니다.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다.

기여

기부금을 환영합니다! 이 프로젝트를 향상시키기위한 문제, 기능 요청 또는 요청을 자유롭게 제출하십시오.