fishpal
1.0.0
แบบจำลองภาษาขนาดใหญ่ (LLMS) แสดงความเข้าใจภาษาธรรมชาติที่น่าประทับใจในงาน เมื่อขนาดของโมเดลภาษาเพิ่มขึ้นการปรับให้เข้ากับงานที่เฉพาะเจาะจงจะมีราคาแพงในการคำนวณ การเรียนรู้ในบริบทได้รับการเสนอเป็นทางเลือกในการปรับแต่ง LLMS มาตรฐาน อย่างไรก็ตามการกระตุ้นโดยทั่วไปมีประสิทธิภาพต่ำกว่าการปรับแต่งมาตรฐาน นอกจากนี้การค้นหาพรอมต์ที่ดีที่สุดนั้นไม่ตรงไปตรงมาเนื่องจากกระบวนการเปราะเช่นถ้อยคำของพรอมต์และจำนวนตัวอย่าง เพื่อแก้ไขปัญหาเหล่านี้ได้มีการเสนอการปรับแต่งพารามิเตอร์ (PEFT) อย่างมีประสิทธิภาพ กระบวนทัศน์นี้เพิ่มส่วนประกอบแบบแยกส่วนให้กับโมเดลที่ผ่านการฝึกอบรมมาก่อน สิ่งเหล่านี้ได้รับการปรับแต่งอย่างละเอียดในงานเป้าหมายในขณะที่ LLM ไม่ได้อัปเดต ส่วนประกอบ PEFT มีความสามารถต่องานโดยเฉพาะและอนุญาตให้อัปเดตโมเดลโดยไม่ลืมความรู้มาก่อนในขณะที่องค์ประกอบของโมดูลดังกล่าวสามารถปรับปรุงความสามารถหลายอย่างของ LLM Peft สามารถเข้าถึงประสิทธิภาพของการปรับแต่งมาตรฐาน สิ่งนี้เป็นแรงจูงใจในการวิจัยในพื้นที่นี้และมีการเสนอวิธีการมากมาย อย่างไรก็ตามเพื่อประเมินว่าวิธีการแบบแยกส่วนใดที่เหมาะสมสำหรับชุดของงานการทดลองด้วยวิธีการแบบแยกส่วนที่เลือกต่องานเป็นสิ่งจำเป็น สิ่งนี้มักจะต้องใช้การค้นหาอย่างละเอียดเกี่ยวกับวิธีการและพารามิเตอร์ไฮเปอร์พารามิเตอร์ซึ่งเป็นเรื่องยากในทางปฏิบัติ การศึกษาครั้งนี้เสนอเกณฑ์ใหม่ตามเมทริกซ์ข้อมูลฟิชเชอร์เพื่อเลือกวิธี PEFT ที่จะใช้เพื่อปรับ LLM ให้เข้ากับงานเฉพาะ นวนิยายเรื่องนี้เป็นนวนิยายที่มีการเลือกล่วงหน้าของฟิชเชอร์-การปรับแต่งคำนำหน้าอะแดปเตอร์และ LORA สำหรับหม้อแปลง Fishpal หลีกเลี่ยงการทดลองฝึกอบรมที่มีราคาแพง ในการทดลองของวิทยานิพนธ์นี้ Fishpal มีประสิทธิภาพสูงกว่าเส้นฐานในงานกาวที่แตกต่างกันในขณะที่อัปเดตเพียง 2-4% ของพารามิเตอร์โมเดลทั้งหมดและเพิ่มพารามิเตอร์ของโมเดลพื้นฐานเพียง 0.4% ในระหว่างการอนุมาน
การทดลองทั้งหมดดำเนินการบน 1 Google Cloud GPU (NVIDIA T4 GPU พร้อม 4VCPUS และ 15GB RAM ในโซน US-West3-B)
