BachelorProject

การจำแนกและการประเมินผลตาม AYA

พื้นที่เก็บข้อมูลนี้ให้กรอบสำหรับการจำแนกตามการจัดหมวดหมู่โดยใช้แบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อนโดยมุ่งเน้นไปที่งานการจำแนกประเภทข้อความเปอร์เซีย มันมีสคริปต์และสมุดบันทึกสำหรับการสร้างพรอมต์, การปรับแต่งการปรับแต่งสำหรับการจำแนก, การประเมินผลลัพธ์และการวิเคราะห์ตัวชี้วัดประสิทธิภาพของแบบจำลองเช่นคะแนน F1, ความแม่นยำและการเรียกคืน ที่เก็บยังรองรับการเรียนรู้ K-shot เพื่อเพิ่มความสามารถในการปรับตัวแบบจำลองโดยการรวมตัวอย่างที่เกี่ยวข้อง

โครงสร้างโครงการ

• รหัส : มีรหัสหลักและสมุดบันทึกสำหรับการฝึกอบรมแบบจำลองการสร้างพรอมต์และการประเมินผล

  • AYA-Colab.ipynb : สมุดบันทึกหลักสำหรับการฝึกอบรมและการปรับแต่งพร้อมกับโมเดล AYA บน Colab
  • Classification_report.ipynb : สร้างตัวชี้วัดการจำแนกประเภทรวมถึงคะแนน F1 ความแม่นยำและการเรียกคืนสำหรับการตั้งค่าพรอมต์ที่แตกต่างกัน
  • Creating_dataset.ipynb : การเตรียมข้อมูลและการสร้างชุดข้อมูลสำหรับการเรียนรู้ตามพรอมต์
  • f1-calculation.py : Python Script เพื่อคำนวณและแสดงคะแนน F1 คะแนน
  • news-aya-symbol-tuning.ipynb : สมุดบันทึกสำหรับการปรับแต่งสัญลักษณ์ด้วยโมเดล AYA สำหรับการจำแนกข้อความ
  • news-aya-system-user-prompt.ipynb : สคริปต์สำหรับการสร้างระบบและการแจ้งเตือนผู้ใช้โดยใช้รูปแบบภาษาที่ผ่านการฝึกอบรมมาก่อน
  • Symbol_tuning_aya.ipynb : โน้ตบุ๊กการปรับสัญลักษณ์สำหรับการปรับประสิทธิภาพที่รวดเร็ว

• ชุดข้อมูล : มีชุดข้อมูลที่ใช้สำหรับการฝึกอบรมและการประเมินผล

• พรอมต์ : มีเทมเพลตพรอมต์ที่ใช้สำหรับงานการจำแนกประเภทต่างๆ

• สไลด์ : เอกสารเอกสารและการนำเสนอที่อธิบายการเรียนรู้ในบริบทการออกแบบที่รวดเร็วการเรียนรู้ K-shot และการปรับสัญลักษณ์

  • In-Context Learning.pptx & In-Context Learning.pdf : รายละเอียดเกี่ยวกับการใช้การเรียนรู้ในบริบทสำหรับการปรับโมเดล
  • System-User Prompt Design.pptx & System-User Prompt Design.pdf : คู่มือสำหรับการออกแบบระบบและพรอมต์ของผู้ใช้
  • Symbol Tuning.pptx & Symbol Tuning.pdf : คำแนะนำเกี่ยวกับการใช้การปรับสัญลักษณ์เพื่อปรับปรุงประสิทธิภาพที่รวดเร็ว

คุณสมบัติที่สำคัญ

• การจำแนกตามพรอมต์ : เฟรมเวิร์กเพื่อจำแนกข้อความโดยใช้พรอมต์ด้วยรูปแบบภาษา ระบบช่วยให้การสร้างพรอมต์แบบไดนามิกรวมอินพุตที่ผู้ใช้กำหนดและระบบแจ้งเตือนสำหรับการจำแนกข้อความที่ยืดหยุ่น
• การเรียนรู้ K-shot : สนับสนุนการเรียนรู้ K-shot โดยที่โมเดลนั้นมาพร้อมกับตัวอย่างที่เกี่ยวข้อง K เพื่อปรับปรุงประสิทธิภาพในงานที่เฉพาะเจาะจง
• ตัวชี้วัดการประเมินผล : จัดเตรียมเครื่องมือสำหรับการประเมินที่ครอบคลุมรวมถึงความแม่นยำคะแนน F1 ความแม่นยำและการเรียกคืน ผลลัพธ์จะถูกบันทึกและสามารถมองเห็นได้ผ่านเมทริกซ์ความสับสนและรายงานการจำแนกประเภท
• การปรับแต่งสัญลักษณ์ : เทคนิคในการปรับและปรับแต่งพรอมต์โดยใช้สัญลักษณ์และการดัดแปลงตามพรอมต์อื่น ๆ เพิ่มการตอบสนองของแบบจำลองต่อการสืบค้นที่เฉพาะเจาะจง
• การเรียนรู้ในบริบท : เอกสารและการสนับสนุนสำหรับการเรียนรู้ในบริบทเพื่อปรับปรุงความสามารถในการปรับตัวแบบพร้อมกับตัวอย่างพร้อมตัวอย่างในบริบทที่รวดเร็ว

คำแนะนำการตั้งค่า

1. โคลนที่เก็บ:

   git clone https://github.com/ShayanSalehi81/BachelorProject
   cd BachelorProject

2. ติดตั้งแพ็คเกจที่ต้องการ:

   pip install -r requirements.txt

3. รับรองความถูกต้องด้วยใบหน้ากอด (ถ้าจำเป็น) และติดตั้งไลบรารีเพิ่มเติม:

   huggingface-cli login --token YOUR_HUGGINGFACE_TOKEN

4. เรียกใช้สคริปต์โน๊ตบุ๊คหรือ Python ใด ๆ ในไดเรกทอรี Codes เพื่อดำเนินการงานเช่นการสร้างชุดข้อมูลการปรับจูนหรือการประเมินผล

การใช้งาน

การสร้างพรอมต์และการจำแนกประเภท

• News-aya-system-user-prompt.ipynb : โน้ตบุ๊กนี้ให้บริการไปป์ไลน์แบบ end-to-end สำหรับการสร้างระบบและการแจ้งเตือนของผู้ใช้และดำเนินการจำแนกประเภทในชุดข้อมูลข่าว คลาส Generator โหลดแบบจำลองภาษาที่ผ่านการฝึกอบรมมาแล้วรูปแบบการแจ้งเตือนและสร้างการคาดการณ์ สคริปต์รองรับการหาปริมาณ 4 บิตสำหรับการใช้หน่วยความจำที่มีประสิทธิภาพและใช้ประโยชน์จากการแจ้งเตือนที่ผู้ใช้ให้เพื่อจำแนกข้อมูลข่าวเปอร์เซียเป็น "สำคัญ" หรือ "ไม่สำคัญ"

การประเมินและการวัด

• classification_report.ipynb : ประเมินประสิทธิภาพของโมเดลด้วยตัวชี้วัดเช่นความแม่นยำความแม่นยำการเรียกคืนและคะแนน F1 มันรวมถึงการตรวจสอบข้าม K-fold และสร้างรายงานการจำแนกประเภทโดยละเอียด
• F1-calculation.py : คำนวณและแสดงคะแนนคะแนน F1 สำหรับผลการจำแนกประเภทโดยมีการแบ่งหมวดหมู่ที่ชาญฉลาด เมทริกซ์ความสับสนและตารางสรุปสามารถสร้างขึ้นเพื่อทำความเข้าใจประสิทธิภาพของโมเดลในหมวดหมู่

การเรียนรู้ K-shot

• ไปป์ไลน์การสร้างพรอมต์รองรับการเรียนรู้ K-shot โดยที่ตัวอย่างที่คล้ายกันมากที่สุดจะถูกดึงมาจากชุดการฝึกอบรมโดยใช้ความคล้ายคลึงกันของ TF-IDF สิ่งนี้จะช่วยเพิ่มการจำแนกตามพรอมต์โดยการจัดทำโมเดลด้วยตัวอย่างที่เกี่ยวข้องกับบริบท

การปรับสัญลักษณ์

• โน้ตบุ๊กเช่น news-aya-symbol-tuning.ipynb และ Symbol_tuning_aya.ipynb ได้รับการออกแบบมาเพื่อปรับสัญลักษณ์ที่ได้รับการปรับแต่งซึ่งสามารถปรับปรุงความสามารถในการตีความแบบจำลองและการตอบสนองที่สอดคล้องกัน การปรับแต่งสัญลักษณ์แนะนำการปรับเปลี่ยนเล็กน้อยไปยังพรอมต์เพิ่มความเข้าใจของโมเดลเกี่ยวกับการสืบค้นที่เหมาะสม

ตัวอย่างเวิร์กโฟลว์

1. การเตรียมข้อมูล : ใช้ Creating_dataset.ipynb เพื่อประมวลผลล่วงหน้าและจัดรูปแบบชุดข้อมูลของคุณ
2. การสร้างพรอมต์ : โหลด news-aya-system-user-prompt.ipynb เพื่อกำหนดระบบและพรอมต์ของผู้ใช้และเรียกใช้การจัดหมวดหมู่บนชุดข้อมูล
3. การประเมินผล : ใช้ Classification_report.ipynb เพื่อคำนวณตัวชี้วัดเช่นความแม่นยำและคะแนน F1 และ f1-calculation.py เพื่อแสดงประสิทธิภาพ
4. การปรับแต่งสัญลักษณ์ : เรียกใช้ news-aya-symbol-tuning.ipynb เพื่อปรับแต่งการออกแบบพรอมต์ด้วยการปรับสัญลักษณ์

การปรับปรุงในอนาคต

• การเพิ่มประสิทธิภาพที่รวดเร็ว : ปรับแต่งวิธีการสร้างพรอมต์เพิ่มเติมเพื่อรองรับงานการจำแนกที่ซับซ้อนมากขึ้น
• การปรับแต่งอย่างละเอียด : รวมการปรับแต่งโมเดลลงบนชุดข้อมูลที่กำหนดเองเพื่อปรับปรุงการปรับตัวแบบจำลอง
• Extended K-shot Learning : ทดลองกับค่าตัวแปร K เพื่อเพิ่มประสิทธิภาพการเรียนรู้ในบริบท
• การปรับปรุงสัญลักษณ์การปรับแต่ง : ขยายเทคนิคการปรับสัญลักษณ์เพื่อจัดการงานที่กว้างขึ้นและบริบทของผู้ใช้

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT

การบริจาค

ยินดีต้อนรับ! อย่าลังเลที่จะส่งปัญหาคำขอคุณลักษณะหรือการดึงคำขอเพื่อปรับปรุงโครงการนี้