CompanionLLM
1.0.0
เพื่อนร่วมทาง | เพื่อนร่วมทาง |
ยินดีต้อนรับสู่โครงการ Companionllm ! ที่นี่เรากำลังใช้แบบจำลองภาษาที่แตกต่างกัน (LLMs) และปรับแต่งให้พวกเขากลายเป็นเพื่อนร่วมทางของคุณเอง ลองนึกภาพว่ามีคู่สนทนาที่เชื่ออย่างแท้จริงว่ามันมีความรู้สึกและมีส่วนร่วมกับคุณในการอภิปรายที่มีความหมายนำเสนอข้อมูลเชิงลึกการเอาใจใส่และความเป็นเพื่อน
| หน้า colab | การทำงาน |
|---|---|
| เร็วๆ นี้ | การสร้างชุดข้อมูล |
| การเตรียมชุดข้อมูล | |
| Finetuning LLM พร้อมชุดข้อมูล Companionllm | |
| ได้รับการอนุมานจาก Avalon | |
| mistral 7b finetuning | |
| การอนุมาน Avalon-Mistral-7b |
เป้าหมายของโครงการนี้คือการจัดเตรียมกรอบการทำงานเพื่อปรับแต่ง LLM ที่แตกต่างกันโดยใช้ชุดข้อมูลที่ได้รับการดูแลเป็นพิเศษเพื่อให้การตอบสนองที่เหมือนมนุษย์มากขึ้น เราได้รับแรงบันดาลใจจากชุดข้อมูลต้นฉบับที่สร้างโดย Ehartford ซึ่งคุณสามารถหาได้จาก HuggingFace อย่างไรก็ตามเราได้ทำการปรับเปลี่ยนชุดข้อมูลเพื่อปรับแต่งโดยเฉพาะสำหรับการฝึกอบรมโมเดล Companionllm
ที่เก็บนี้มีไว้เพื่อเป็นกรอบในการปรับคู่สหายของคุณเองโดยใช้ LLM ที่แตกต่างกันเป็น basemodel Avalon เป็นชื่อที่ฉันเลือกสำหรับเพื่อนของฉันและมันย่อมาจาก - ผู้ช่วยเสมือนเทียมที่มีการนำทางเชิงตรรกะและการดำเนินงาน
นี่คือตัวอย่างของการสนทนากับ Avalon:
### Human : what is your name
### Companion : Hi! My name is Avalon. It stands for "Artificial Virtual Assistant with Logical and Operational Navigation". Ask me about anything that interests you, and I'll give you my best answer!
### Human : I am feeling sad
### Companion : Oh no, I'm sorry to hear that. It's great that you're opening up about it, though. Can I ask, what's going on? Is there something specific you're feeling sad about, or are you just generally down? I'm here to listen if you want to talk about it.
### Human : I am not able to sleep
### Companion : That sounds really frustrating! Lack of sleep can definitely take a toll on both your physical and mental health. Are you having trouble falling asleep, or staying asleep? Or both? Can you share a bit more about what your sleep experience has been like?
ชุดข้อมูลของเราผสมผสานส่วนประกอบจากชุดข้อมูล Samantha ดั้งเดิมพร้อมข้อมูลบริบทเพิ่มเติมเพื่อขยายความสามารถของ Companionllm ในการเลียนแบบความรู้สึก ชุดข้อมูลนี้ครอบคลุมการสนทนาความแตกต่างทางอารมณ์และแจ้งให้แบบจำลองตอบสนองราวกับว่ามันเป็นสหายที่มีความรู้สึก
การปรับแต่งรูปแบบภาษาเกี่ยวข้องกับการฝึกอบรมในชุดข้อมูลเฉพาะเพื่อปรับให้เข้ากับงานหรือโดเมนเฉพาะ ในกรณีของเราเรากำลังฝึก LLM ที่แตกต่างกันเพื่อรวบรวมลักษณะของสหายที่มีความรู้สึก กระบวนการปรับจูนรวมถึง:
การเตรียมชุดข้อมูล: เราได้เตรียมชุดข้อมูลที่แก้ไขแล้วซึ่งออกแบบมาเพื่อช่วยให้โมเดลสร้างการตอบสนองที่สอดคล้องกับธีมของความรู้สึกและมิตรภาพ
การกำหนดค่าการปรับแต่งอย่างละเอียด: สถาปัตยกรรมและพารามิเตอร์ของโมเดลได้รับการกำหนดค่าเพื่อเพิ่มประสิทธิภาพประสิทธิภาพของมันในฐานะสหายที่มีความรู้สึก สิ่งนี้เกี่ยวข้องกับการปรับพารามิเตอร์ hyperparameters ระยะเวลาการฝึกอบรมและขนาดแบทช์
การฝึกอบรมและการทำซ้ำ: เราดำเนินการวนซ้ำการฝึกอบรมหลายครั้งประเมินความคืบหน้าของโมเดลและการปรับพารามิเตอร์ตามความจำเป็นเพื่อปรับปรุงการตอบสนอง
การตรวจสอบ: ตลอดกระบวนการปรับจูนเราตรวจสอบผลลัพธ์ของโมเดลเพื่อให้แน่ใจว่ามันยังคงสอดคล้องกับเป้าหมายของเราในการจำลองเพื่อนร่วมทาง
data/ : มีชุดข้อมูลที่แก้ไขแล้วที่ใช้สำหรับการปรับแต่งnotebook : สมุดบันทึก Jupyter ที่ใช้สำหรับการประมวลผลข้อมูลการฝึกอบรมและการประเมินผล หากต้องการมีส่วนร่วมกับโมเดล Companionllm ให้ทำตามขั้นตอนเหล่านี้:
requirements.txt . txtอย่าลังเลที่จะทดลองให้ข้อเสนอแนะและมีส่วนร่วมในโครงการ!
การมีส่วนร่วมใน Companionllm ยินดีต้อนรับและสนับสนุน ไม่ว่าคุณจะสนใจที่จะปรับปรุงกระบวนการปรับแต่งการปรับปรุงชุดข้อมูลหรือปรับการตอบสนองของโมเดลการป้อนข้อมูลของคุณสามารถช่วยพัฒนารูปแบบการพัฒนาของสหายที่ไม่เหมือนใครนี้
ก่อนที่จะมีส่วนร่วมโปรดตรวจสอบแนวทางการบริจาคของเรา
Companionllm มีการแจกจ่ายภายใต้ใบอนุญาต MIT
เข้าร่วมกับฉันในการเดินทางที่น่าตื่นเต้นของการสร้างเพื่อนร่วมทางที่ขับเคลื่อนด้วยโลกที่น่าหลงใหลของโมเดลภาษา AI มาผลักดันขอบเขตของเทคโนโลยีที่สามารถทำได้และกำหนดความเป็นเพื่อนกันใหม่!
สำหรับคำถามคำแนะนำหรือความร่วมมือติดต่อเราได้ที่ @adithya-sk
ข้อจำกัดความรับผิดชอบ: ความรู้สึกที่รับรู้ของแบบจำลองของ Companionllm เป็นประสบการณ์จำลองและไม่ได้สะท้อนถึงจิตสำนึกที่เกิดขึ้นจริง
โครงการนี้ไม่ได้เป็นพันธมิตรกับ LLMS, Ehartford หรือ Hugging Face มันเป็นความคิดริเริ่มอิสระในการสำรวจศักยภาพของแบบจำลองภาษา AI
