Title Generator with LLM PEFT
1.0.0
[UPDATE]: Llama2 ที่ปรับแต่งอย่างละเอียดพร้อม Qlora จะถูกเพิ่มในไม่ช้า!
โครงการนี้มีวัตถุประสงค์เพื่อ สร้างชื่อจากบทคัดย่อที่กำหนด สำหรับบทความทางวิชาการ โมเดลได้รับการปรับแต่งด้วย PEFT โดยใช้ชุดข้อมูล arxiv สองรุ่นที่แตกต่างกันถูกปรับด้วย Lora (Hu et al., 2021) เฉพาะบทความในหมวดวิทยาศาสตร์คอมพิวเตอร์เท่านั้นที่เลือกใน ชุดข้อมูล Arxiv ตัวเลขนี้ลดลงเนื่องจากการ จำกัด หน่วยความจำและเวลา รุ่นปรับแต่งมีให้บริการผ่านช่องว่าง HuggingFace:
โครงการรวมถึง:
Rouge Scoreไลบรารีและแพ็คเกจภายนอก:
พารามิเตอร์และข้อ จำกัด การฝึกอบรม
R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer | ชื่อเดิม | ชื่อที่สร้างขึ้น | |
|---|---|---|
| 1 | วงจรควอนตัมสำหรับระบบควอนตัมที่มีความสัมพันธ์อย่างมาก | การจำลองควอนตัมของ Hamiltonians หลายตัวที่มีความสัมพันธ์กันอย่างมาก |
| 2 | Teko: เครือข่ายประสาทกราฟที่อุดมไปด้วยข้อความที่มีความรู้ภายนอก | เครือข่ายประสาทกราฟที่อุดมไปด้วยข้อความที่มีความรู้ภายนอก |
| 3 | สินค้า: การจัดเก็บข้อมูลจีโนมแบบบีบอัดแบบไม่มีรูปแบบที่มีประสิทธิภาพ | สินค้า: การเก็บถาวรสำหรับจีโนมบีบอัด |
| 4 | การควบคุมพลังงานประหยัดพลังงานของการสื่อสาร mmwave พื้นรถไฟสำหรับ | ประสิทธิภาพการใช้พลังงานของการสื่อสาร mmwave พื้นรถไฟสำหรับรถไฟความเร็วสูง |
| 5 | การสำรวจอคติในการวิจัยการเรียนรู้ของเครื่องจักร | การทำความเข้าใจแหล่งที่มาและผลที่ตามมาของอคติในการเรียนรู้ของเครื่องจักร |
| 6 | SA-Unet: ความสนใจเชิงพื้นที่ U-NET สำหรับการแบ่งส่วนหลอดเลือดจอประสาทตา | ความสนใจเชิงพื้นที่ U-Net: ความสนใจเชิงพื้นที่สำหรับโรคที่เกี่ยวข้องกับดวงตา |
| 7 | อัลกอริทึมฮิวริสติกใหม่สำหรับการแบ่งแยก K-segmentation ที่รวดเร็ว | อัลกอริทึมฮิวริสติกนวนิยายสำหรับ K-segmentation |
| 8 | ความก้าวหน้าและความท้าทายของ IoT ในการดูแลสุขภาพ: บทวิจารณ์สั้น ๆ | การดูแลสุขภาพที่ชาญฉลาดและการดูแลสุขภาพ: การวิเคราะห์เปรียบเทียบการดูแลสุขภาพอัจฉริยะและความปลอดภัย |
| 9 | FVC: เฟรมเวิร์กใหม่สู่การบีบอัดวิดีโอลึกในพื้นที่ฟีเจอร์ | การบีบอัดวิดีโอฟีเจอร์-พื้นที่สำหรับการเข้ารหัสวิดีโอตามการเรียนรู้ |
การฝึกอบรมการฝึกอบรม/การทดสอบ BART (6 Epochs)
T5 การฝึกอบรม/การทดสอบการสูญเสีย (6 Epochs)
