เครื่องกำเนิดตัวละครวิดีโอเกม AI
ภาพรวม
โครงการนี้ควบคุมพลังของการแพร่กระจายที่มั่นคง Dreambooth และ Lora Technologies เพื่อสร้างตัวละครวิดีโอเกมที่ปรับแต่งได้สูงและเป็นเอกลักษณ์ ระบบนี้ช่วยสร้างสรรค์ในการสร้างภาพตัวละครโดยละเอียดเพิ่มความคิดสร้างสรรค์และนำเสนอความเป็นไปได้ในการออกแบบตัวละครมากมาย
คุณสมบัติ
- การสร้างตัวละครที่กำหนดเอง : สร้างตัวละครวิดีโอเกมที่มีลักษณะภาพและคุณลักษณะที่ไม่ซ้ำกัน
- การปรับแต่งขั้นสูง : ใช้ Dreambooth และ Lora สำหรับการปรับแต่งแบบจำลองที่แม่นยำและการปรับปรุง
- ความยืดหยุ่นสูง : เหมาะสำหรับเกมและสไตล์ตัวละครที่หลากหลาย
รายละเอียดทางเทคนิค
สแต็คเทคโนโลยี
- การแพร่กระจายที่เสถียร : สำหรับการสร้างภาพอักขระพื้นฐาน
- Dreambooth : เพื่อปรับแต่งโมเดลวัตถุประสงค์ทั่วไปเพื่อรับรู้และสร้างตัวละครใหม่ ๆ
- LORA (การปรับตัวต่ำสุด) : นำไปใช้สำหรับการปรับจูนแบบจำลองที่มีน้ำหนักเบาและมีประสิทธิภาพโดยมุ่งเน้นที่การเพิ่มลักษณะเฉพาะของอักขระที่สร้างขึ้น
ชุดข้อมูล
ชุดข้อมูลประกอบด้วยภาพ 31,800 ภาพที่รวบรวมจาก 12 วิดีโอเกมที่แตกต่างกันโดยมีการติดฉลากลึกโดยใช้เครื่องมือเช่น DeepDanBooru และ Blip สำหรับการจำแนกแอตทริบิวต์ที่แม่นยำ
สถาปัตยกรรมแบบจำลอง
- โมเดลพื้นฐาน : การแพร่กระจายที่เสถียร v1.5 สร้างภาพฐานโดยละเอียด
- การปรับตัวในฝัน : เพิ่มความสามารถของโมเดลในการสร้างตัวละครใหม่ที่เฉพาะเจาะจงโดยไม่สูญเสียความสามารถทั่วไป
- การปรับตัว LORA : ให้การปรับปรุงเป้าหมายด้วยทรัพยากรการคำนวณน้อยที่สุดเหมาะสำหรับการปรับปรุงอักขระเดี่ยว
การติดตั้ง
git clone https://github.com/VaradhKaushik/Ai-character-generation.git
cd Ai-character-generation
pip install -r requirements.txt
ขอบเขตในอนาคต
- ขั้นตอนต่อไปคือลองใช้โมเดลที่แตกต่างกันด้วยวิธีการนี้
- ปรับแต่งโมเดลบนชุดข้อมูลความละเอียดสูง
- Comibne Lora และนางแบบที่ได้รับการฝึกฝนในฝันของเรา
- ลองใช้สไตล์การฝึกอบรมเสื้อผ้าแนวคิด LORAS และเปรียบเทียบผลลัพธ์
- สำรวจการใช้ Lycoris สำหรับการปรับแต่งแบบจำลอง
การอ้างอิง
- https://huggingface.co/runwayml/stable-diffusion-v1-5
- https://github.com/shivamshrirao/diffusers/tree/main/examples/dreambooth
- https://huggingface.co/blog/stable_diffusion
- https://huggingface.co/docs/diffusers/training/lora?installation=pytorch
- https://github.com/huggingface/diffusers/tree/main/examples/text_to_image
- https://civitai.com/models/4468?modelversionid=57618
- https://github.com/automatic1111/stable-diffusion-webui
- https://huggingface.co/openai/clip-vit-base-patch32
- https://github.com/kichangkim/deepdanbooru
สมาชิกในทีม
Alexander Seljuk, Varadh Kaushik, Girish Adari Kumar
