หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซี/ซี++
ดาวน์โหลด

การแนะนำ

ที่เก็บนี้มี การใช้งาน C ++ อย่างเต็มที่ของการสังเคราะห์ภาพการแพร่กระจายที่เสถียร รวมถึง TXT2IMG ดั้งเดิม, IMG2IMG และความสามารถในการทาสีและตัวตรวจสอบความปลอดภัย โซลูชันนี้ ไม่ได้ขึ้นอยู่กับ Python และ เรียกใช้กระบวนการสร้างภาพทั้งหมดในกระบวนการเดียวที่มีประสิทธิภาพการแข่งขัน ทำให้การปรับใช้ง่ายขึ้นและเล็กลงอย่างมีนัยสำคัญซึ่งประกอบด้วยไฟล์ปฏิบัติการและไฟล์ไลบรารีเพียงไม่กี่ไฟล์และน้ำหนักรุ่น การใช้ไลบรารีเป็นไปได้ที่จะรวมการแพร่กระจายที่เสถียรเข้ากับแอปพลิเคชันเกือบทุกชนิด - ตราบใดที่สามารถนำเข้าฟังก์ชั่น C ++ หรือ C ได้ แต่ก็มี ประโยชน์มากที่สุดสำหรับนักพัฒนาแอปพลิเคชันกราฟิกเรียลไทม์และเกม ซึ่งมักจะรับรู้ด้วย C ++

ซามูไรวาดดาบเพื่อปกป้องดินแดนของเขาการเดินเรือข้ามทะเลสูงศตวรรษที่ 18 ภาพวาดอิมเพรสชั่นนิสต์โคลสอัพภาพถ่ายภาพบุคคลใกล้ชิดของผู้หญิงในเสื้อผ้า Wastelander, ทรงผมยาว, ผิวสีซีด, ร่างกายเพรียวบาง, พื้นหลังคือซากปรักหักพังของเมือง, (ผิวที่มีรายละเอียดสูง: 1.2)

การสนับสนุน Controlnet

ไลบรารียังรองรับ ControlNet ซึ่งอนุญาตให้ใช้รูปภาพอินพุตเพื่อเป็นแนวทางในกระบวนการสร้างภาพเช่น:

ControlNet ที่ใช้ OpenPose ในครั้งแรกตัวอย่างนี้เราใช้ตัวประมาณ OpenPose และ OpenPose Conditioned ControlNet เราสามารถแนะนำการสร้าง IMG2IMG โดยการระบุท่าทางดังนั้นจึงให้ผลลัพธ์ที่ดีกว่า

Controlnet ตามความเฮด การใช้การตรวจจับขอบ HED และ Controlnet ปรับอากาศเราเปลี่ยนรูปแบบของภาพให้คล้ายกับภาพประกอบหนังสือการ์ตูน แต่ให้เลย์เอาต์ยังคงอยู่

Controlnet ตามความลึก การใช้ตัวประมาณค่าความลึกและความลึกของแผนที่ Controlnet ปรับอากาศเราสร้างอักขระที่แตกต่างกัน แต่ให้การตั้งค่าดั้งเดิม

คุณลักษณะ extractors

ห้องสมุดยังมีการใช้งาน GPU เร่งความเร็วของตัวแยกฟีเจอร์ต่อไปนี้ (แสดงด้านบน):

  • การประมาณค่าท่าทาง: สกัดโครงกระดูกของมนุษย์จากภาพโดยใช้ OpenPose
  • การประมาณความลึก: ประมาณความลึกของแต่ละพิกเซลจากภาพเดียวโดยใช้ midas
  • การตรวจจับขอบ: แยกขอบออกจากภาพโดยใช้การตรวจจับขอบ

ตัวอย่างรหัส

นี่คือตัวอย่างรหัสง่าย ๆ :

  • StabledIffusion
  • การควบคุม
  • การสกัดคุณลักษณะ

โมเดลอ้างอิง

โมเดล AI ที่จำเป็นสำหรับไลบรารีจะถูกเก็บไว้ในรูปแบบ ONNX ทุกรุ่นดำเนินการผ่าน Microsoft Olive และได้รับการปรับให้เหมาะสมสำหรับ DirectML ฉันได้ทดสอบไลบรารีด้วยรุ่นต่อไปนี้:

  • การแพร่กระจายที่เสถียร 1.5 พร้อมการสนับสนุน ControlNet
  • วิสัยทัศน์ที่สมจริง 1.4 พร้อมการสนับสนุน Controlnet
  • ControlNet พร้อมสารสกัดจากฟีเจอร์

คุณสามารถนำโมเดลของคุณมาเองโดยการแปลงโดยใช้คู่มือนี้

โปรดตรวจสอบให้แน่ใจว่าได้ตรวจสอบใบอนุญาตเดิมของรุ่นหากคุณวางแผนที่จะรวมเข้ากับผลิตภัณฑ์ของคุณ

ภูมิหลังทางเทคนิค

การใช้งานใช้ ONNX เพื่อจัดเก็บแบบจำลองทางคณิตศาสตร์ที่เกี่ยวข้องในการสร้างภาพ จากนั้นรุ่น ONNX เหล่านี้จะถูกดำเนินการโดยใช้รันไทม์ ONNX ซึ่งรองรับแพลตฟอร์มที่หลากหลาย (Windows, Linux, MacOS, Android, iOS, WebAssembly ฯลฯ ) และผู้ให้บริการดำเนินการ (เช่น Nvidia Cuda / Tensorrt; AMD ROCM, Apple Coreml, Queml

เราให้ตัวอย่างการรวมตัวอย่างที่เรียกว่า unpaint ซึ่งแสดงให้เห็นว่าไลบรารีสามารถรวมเข้ากับส่วนต่อประสานผู้ใช้ที่ใช้ Winui ได้อย่างง่าย คุณสามารถดาวน์โหลดแอพฟรีจาก Microsoft Store เพื่อประเมินคุณสมบัติประสิทธิภาพของโซลูชัน

Codebase ปัจจุบันและแพ็คเกจ NUGET ที่ได้นั้นเป็นเป้าหมายของ Windows และใช้ DirectML แต่มีเพียงส่วนเล็ก ๆ ของรหัสที่ใช้ APIs เฉพาะ Windows และสามารถส่งไปยังแพลตฟอร์มอื่น ๆ ด้วยความพยายามน้อยที่สุด

การออกใบอนุญาต

ซอร์สโค้ดของไลบรารีนี้มีให้ภายใต้ใบอนุญาต MIT

การรวมส่วนประกอบ

รุ่น Prebuilt สามารถเรียกคืนได้จาก NuGet ภายใต้ชื่อ Axodox.MachineLearning และเพิ่มลงในโครงการ Visual Studio C ++ (สนับสนุนโครงการเดสก์ท็อปและ UWP ทั้งสองด้วยแพลตฟอร์ม x64

การรวมขั้นพื้นฐาน:

  • เพิ่มแพ็คเกจ Axodox.Common และ Axodox.MachineLearning ลงในโครงการของคุณ
  • ตรวจสอบให้แน่ใจว่า มีแพลตฟอร์ม x64 ในโครงการของคุณเท่านั้น เนื่องจาก lib นี้คือ x64 เท่านั้นในตอนนี้
  • ตรวจสอบให้แน่ใจว่าคอมไพเลอร์ของคุณถูกตั้งค่าเป็น C ++ 20 เราขอแนะนำให้เปิดใช้งานการเตือนและโหมดความสอดคล้องทั้งหมด
  • เพิ่มคำสั่งรวมต่อไปนี้ไปยังไฟล์รหัสของคุณหรือส่วนหัวที่รวบรวมไว้ล่วงหน้า: #include "Include/Axodox.MachineLearning.h"
  • ทำตามรหัสตัวอย่างนี้เพื่อรวมไปป์ไลน์: https://github.com/axodox/unpaint/blob/main/unpaint/stablediffusionmodelexecutor.cpp

เราขอแนะนำให้เพิ่มกลไกความปลอดภัยที่เหมาะสมลงในแอพของคุณเพื่อระงับเอาต์พุตที่ไม่เหมาะสมของ StabledIffusion ประสิทธิภาพการทำงานนั้นไม่มีนัยสำคัญ

รูปแบบการแพร่กระจายที่เสถียรที่เราใช้ถูกสร้างขึ้นโดยใช้ Microsoft Olive โปรดติดตามตัวอย่างที่เชื่อมโยงเพื่อแปลงโมเดลจาก HuggingFace โดยการเปลี่ยนสคริปต์คุณสามารถแปลงรุ่นที่เก็บไว้ในดิสก์ของคุณจากรูปแบบต่าง ๆ (เช่น *.safetensors ) คุณสามารถค้นหารุ่น preconverted ได้ที่นี่สำหรับการทดสอบ

การสร้างโครงการ

การสร้างห้องสมุดจะต้องทำการเปลี่ยนแปลงและทดสอบการเปลี่ยนแปลง คุณจะต้องติดตั้งต่อไปนี้เพื่อสร้างไลบรารี:

  • Visual Studio 2022
    • เลือกเวิร์กโหลดต่อไปนี้:
      • การพัฒนาเดสก์ท็อปด้วย C ++
      • การพัฒนาเกมด้วย C ++
    • เพื่อสร้าง unpaint และเลือกแพ็คเกจแต่ละตัวเหล่านี้:
      • การพัฒนาแพลตฟอร์ม Windows Universal
      • C ++ (v143) เครื่องมือแพลตฟอร์ม Windows Universal

คุณสามารถเรียกใช้ build_nuget.ps1 หรือเปิด Axodox.MachineLearning.sln และสร้างจาก Visual Studio

เมื่อคุณสร้างไลบรารีแล้วคุณจะได้รับการติดตั้งแพ็คเกจ NuGet ที่มีอยู่โดยการตั้งค่าตัวแปรสภาพแวดล้อม AxodoxMachineLearning-Location เพื่อชี้ไปที่บิลด์ท้องถิ่นของคุณ

ตัวอย่างเช่น C:devaxodox-machinelearningAxodox.MachineLearning.Universal สำหรับแอพ UWP และ C:devaxodox-machinelearningAxodox.MachineLearning.Desktop สำหรับแอพ Desktop

จากนั้นเพิ่มโครงการที่ชี้ไปที่เส้นทางไปยังวิธีแก้ปัญหาของโครงการของคุณเอง สิ่งนี้ช่วยให้สามารถเพิ่มโครงการทั้งหมดลงในโซลูชันเดียวกันและทำการเปลี่ยนแปลงในไลบรารีและแอพของคุณได้อย่างราบรื่นโดยไม่ต้องคัดลอกไฟล์ซ้ำ ๆ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด