หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

เครื่องตี

คุณสามารถสปอนเซอร์ให้ฉันสนับสนุนงานโอเพนซอร์สของฉันได้หรือไม่? ผู้สนับสนุน

เป้าหมายหลักของโครงการคือการสร้างภาพวาดเส้นศิลปะที่น่าตื่นตาตื่นใจ

การอัปเดตที่น่าตื่นเต้น

Controlnet + Artline สำหรับการถ่ายภาพบุคคลลอง colab !!

Controlnet + Artline

โมเดลได้รับการออกแบบมาเพื่อถ่ายภาพบุคคลและคำแนะนำที่เป็นลายลักษณ์อักษรที่สอดคล้องกันจากนั้นใช้คำสั่งนั้นเพื่อปรับรูปแบบของภาพ

ไฮไลท์

  • ตัวอย่างภาพ
  • ทำการ์ตูน
  • โปสเตอร์ภาพยนตร์ที่สร้างขึ้นโดยใช้ Artline
  • รายละเอียดทางเทคนิค

ตัวอย่างภาพ

ภาพยนตร์ Rhapsody Bohemian, Rami Malek American Actor

ภาพถ่ายโดย Maxim จาก Pexels

Keanu Reeves นักแสดงชาวแคนาดา

ภาพถ่ายโดย Anastasiya Gepp จาก Pexels

ดวงดาว

Pexels Portrait, Model

Beyoncéนักร้องชาวอเมริกัน

รุ่น-(ราบรื่น)

รุ่น-(คุณภาพ)

คลิกที่ภาพด้านล่างเพื่อทราบข้อมูลเพิ่มเติมเกี่ยวกับการสาธิต colab เครดิตกับ Bhavesh Bhatt สำหรับวิดีโอ YouTube ที่น่าทึ่ง

ศิลปะแนว

ผลลัพธ์ที่น่าอัศจรรย์ที่โมเดลได้ผลิตขึ้นนั้นมีซอสลับ โมเดลเริ่มต้นไม่สามารถสร้างเอาท์พุทที่ฉันคาดหวังได้ส่วนใหญ่จะดิ้นรนกับการจดจำคุณสมบัติใบหน้า แม้ว่า (https://github.com/yiranran/apdrawinggan) ให้ผลลัพธ์ที่ยอดเยี่ยม แต่มีข้อ จำกัด เช่น (ภาพหน้าด้านหน้าคล้ายกับ ID Photo โดยเฉพาะอย่างยิ่งกับคุณสมบัติใบหน้าที่ชัดเจนไม่มีแว่นตาและไม่มีขอบยาว) ในและให้ผลลัพธ์ที่สามารถจดจำท่าทางใด ๆ ได้ การบรรลุเส้นที่เหมาะสมรอบ ๆ ใบหน้าดวงตาริมฝีปากและจมูกขึ้นอยู่กับข้อมูลที่คุณให้แบบจำลอง ชุดข้อมูล Apdrawing เพียงอย่างเดียวไม่เพียงพอดังนั้นฉันจึงต้องรวมรูปภาพที่เลือกจากชุดข้อมูลคู่สีอะนิเมะ Sketch Colorization ชุดข้อมูลรวมช่วยให้โมเดลเรียนรู้บรรทัดได้ดีขึ้น

โปสเตอร์ภาพยนตร์ที่สร้างขึ้นโดยใช้ Artline

โปสเตอร์ภาพยนตร์ถูกสร้างขึ้นโดยใช้ Artline ในเวลาไม่นานมันก็ไม่ดีเท่าที่ควร แต่ฉันไม่ใช่ศิลปิน

รายละเอียดทางเทคนิค

  • ความตั้งใจด้วยตนเอง (https://arxiv.org/abs/1805.08318) เครื่องกำเนิดไฟฟ้าถูกปรับสภาพด้วยการทำให้เป็นมาตรฐานสเปกตรัมและความตั้งใจด้วยตนเอง สิ่งที่ฉันได้รับจาก deoldify ของ Jason Antic (https://github.com/jantic/deoldify) สิ่งนี้สร้างความแตกต่างอย่างมากในทันใดฉันก็เริ่มได้รับรายละเอียดที่เหมาะสมเกี่ยวกับคุณสมบัติใบหน้า

  • การปรับขนาดแบบก้าวหน้า (https://arxiv.org/abs/1710.10196),(https://arxiv.org/pdf/1707.02921.pdf) การปรับขนาดแบบก้าวหน้าใช้ความคิดนี้ค่อยๆเพิ่มขนาดภาพในโครงการนี้ขนาดภาพจะค่อยๆเพิ่มขึ้นเรื่อย ๆ และปรับอัตราการเรียนรู้ ขอบคุณ fast.ai สำหรับการควบคุมการปรับขนาดแบบก้าวหน้าสิ่งนี้ช่วยให้แบบจำลองสามารถพูดคุยได้ดีขึ้นเมื่อเห็นภาพที่แตกต่างกันมากขึ้น

  • การสูญเสียเครื่องกำเนิด : การสูญเสียการสูญเสีย/การสูญเสียคุณลักษณะตาม VGG16 (https://arxiv.org/pdf/1603.08155.pdf)

เซอร์ไพรส์!! ไม่มีนักวิจารณ์ไม่มีกาน กานไม่ได้สร้างความแตกต่างมากนักดังนั้นฉันจึงมีความสุขกับไม่มีกาน

ภารกิจคือการสร้างบางสิ่งที่แปลงภาพถ่ายส่วนบุคคลให้เป็นศิลปะเส้น ความพยายามครั้งแรกได้ช่วยในการจดจำบรรทัด แต่ก็ยังมีแบบจำลองที่ต้องปรับปรุงให้ดีขึ้นอย่างมากด้วยเงาและเสื้อผ้า ความพยายามทั้งหมดของฉันคือการปรับปรุงรูปแบบและทำให้ Line Art คลิกออกไป

ชุดข้อมูล

ชุดข้อมูล apdrawing

ชุดข้อมูลคู่สีอะนิเมะร่างสี

ชุดข้อมูล Apdrawing หมายถึงการถ่ายภาพบุคคลระยะใกล้ส่วนใหญ่ดังนั้นแบบจำลองจะต้องดิ้นรนเพื่อปรับแต่งผ้าใหม่มือ ฯลฯ เพื่อจุดประสงค์นี้ภาพที่เลือกจากคู่สีอะนิเมะร่างสีถูกนำมาใช้

ก้าวไปข้างหน้า

ฉันหวังว่าฉันจะชัดเจนการก้าวไปข้างหน้าต้องการปรับปรุงโมเดลต่อไปเนื่องจากมันยังคงดิ้นรนกับพื้นหลังแบบสุ่ม (ฉันกำลังสร้างชุดข้อมูลที่กำหนดเองเพื่อแก้ไขปัญหานี้)

ฉันจะอัพเกรดโครงการอย่างต่อเนื่องสำหรับอนาคตอันใกล้

เริ่มต้นใช้งานตัวเอง

วิธีที่ง่ายที่สุดในการเริ่มต้นคือลองใช้ colab: https://colab.research.google.com/github/vijishmadhavan/light-um/blob/master/artline(try_it_on_colab).ipynb

รายละเอียดการติดตั้ง

โครงการนี้สร้างขึ้นรอบ ๆ ห้องสมุด Fast.ai ที่ยอดเยี่ยม

  • fastai == 1.0.61 (และการพึ่งพา) โปรดอย่าติดตั้งเวอร์ชันที่สูงขึ้น
  • Pytorch 1.6.0 โปรดอย่าติดตั้งเวอร์ชันที่สูงขึ้น

ข้อ จำกัด

  • การรับเอาต์พุตที่ยอดเยี่ยมขึ้นอยู่กับแสงพื้นหลังเงาและคุณภาพของภาพถ่าย ส่วนใหญ่คุณจะได้รับผลลัพธ์ที่ดีในช่วงแรก แต่มีโอกาสสำหรับปัญหาเช่นกัน แบบจำลองยังไม่ได้อยู่ที่นั่นมันยังคงต้องมีการปรับแต่งเพื่อเข้าถึงผู้บริโภคทุกคน มันอาจจะเป็นประโยชน์สำหรับ "AI Artisits/ ศิลปินที่สามารถนำการเปลี่ยนแปลงมาสู่ผลลัพธ์สุดท้าย

  • นางแบบสร้างความสับสนให้กับเงาด้วยผมสิ่งที่ฉันพยายามจะแก้

  • มันไม่ดีกับภาพคุณภาพต่ำ (ต่ำกว่า 500px)

  • ฉันไม่ใช่ coder, ทนกับฉันสำหรับรหัสที่ไม่ดีและเอกสารประกอบ จะทำให้แน่ใจว่าฉันปรับปรุงด้วยการอัปเดตที่กำลังจะมาถึง

การอัปเดต

รับการอัปเดตเพิ่มเติมเกี่ยวกับ Twitter

Mail me @ [email protected]

กิตติกรรมประกาศ

  • รหัสนี้ได้รับแรงบันดาลใจจาก Fast.ai's Lesson 7 และ Deoldify (https://github.com/jantic/deoldify) โปรดดูที่สมุดบันทึกบทเรียน (https://github.com/fasti/course-v3/blob/ Master/NBS/DL1/Lesson7-Superres-Gan.ipynb)

  • ขอบคุณ (https://github.com/yiranran/apdrawinggan) สำหรับชุดข้อมูลที่น่าทึ่ง

ใบอนุญาต

รหัสทั้งหมดในที่เก็บนี้อยู่ภายใต้ใบอนุญาต MIT ตามที่ระบุไว้ในไฟล์ใบอนุญาต

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด