cog comfyui

COG-COMFYUI

เรียกใช้เวิร์กโฟลว์ comfyui ในการทำซ้ำ:

• https://replicate.com/fofr/any-comfyui-workflow
• https://replicate.com/fofr/any-comfyui-workflow-a100

เราแนะนำ:

• ลองใช้บนเว็บไซต์ด้วยเวิร์กโฟลว์ที่คุณชื่นชอบและทำให้แน่ใจว่าได้ผล
• การใช้อินสแตนซ์ของคุณเองเพื่อเรียกใช้เวิร์กโฟลว์ของคุณอย่างรวดเร็วและมีประสิทธิภาพในการทำซ้ำ (ดูคำแนะนำด้านล่าง)
• การใช้ API Replicate Replication เพื่อรวมเวิร์กโฟลว์ของคุณเข้ากับแอพหรือเว็บไซต์ของคุณเอง

สิ่งที่รวมอยู่ด้วย

เราได้พยายามที่จะรวมน้ำหนักรุ่นที่ได้รับความนิยมมากที่สุดและโหนดที่กำหนดเอง:

• ดูรายการน้ำหนักที่รองรับ
• ดูรายการโหนดที่กำหนดเองที่รองรับ

เพิ่มปัญหาเพื่อขอโหนดหรือรุ่นที่กำหนดเองเพิ่มเติมหรือใช้แท็บ train ในการทำซ้ำเพื่อใช้น้ำหนักของคุณเอง (ดูด้านล่าง)

วิธีใช้

1. รับ api json ของคุณ

คุณจะต้องใช้เวิร์กโฟลว์ Comfyui เวอร์ชัน API ของคุณ สิ่งนี้แตกต่างจากรุ่น JSON ที่ใช้ร่วมกันโดยทั่วไปไม่รวมข้อมูลภาพเกี่ยวกับโหนด ฯลฯ

เพื่อรับ API JSON ของคุณ:

1. เปิด "ตัวเลือกโหมดเปิดใช้งาน" จากการตั้งค่า COMFYUI (ผ่านไอคอนการตั้งค่า)
2. โหลดเวิร์กโฟลว์ของคุณลงใน comfyui
3. ส่งออก API JSON ของคุณโดยใช้ปุ่ม "บันทึก (รูปแบบ API)"

comfyui-save-workflow.mp4

2. รวบรวมไฟล์อินพุตของคุณ

หากโมเดลของคุณใช้อินพุตเช่นรูปภาพสำหรับ IMG2IMG หรือ ControlNet คุณมี 3 ตัวเลือก:

ใช้ URL

แก้ไขไฟล์ API JSON ของคุณเพื่อชี้ไปที่ URL:

 - "image": "/your-path-to/image.jpg",
+ "image": "https://example.com/image.jpg", 

อัปโหลดอินพุตเดียว

คุณยังสามารถอัปโหลดไฟล์อินพุตเดียวเมื่อเรียกใช้โมเดล

ไฟล์นี้จะถูกบันทึกเป็น input.[extension] - ตัวอย่างเช่น input.jpg มันจะถูกวางไว้ในไดเรกทอรี input comfyui ดังนั้นคุณสามารถอ้างอิงในเวิร์กโฟลว์ของคุณด้วย:

 - "image": "/your-path-to/image.jpg",
+ "image": "image.jpg", 

อัปโหลดไฟล์ zip หรือไฟล์ tar ของอินพุตของคุณ

สิ่งเหล่านี้จะถูกดาวน์โหลดและแยกไปยังไดเรกทอรี input จากนั้นคุณสามารถอ้างอิงพวกเขาในเวิร์กโฟลว์ของคุณตามเส้นทางที่สัมพันธ์กัน

ดังนั้นไฟล์ zip ที่มี:

 - my_img.png
- references/my_reference_01.jpg
- references/my_reference_02.jpg

อาจใช้ในเวิร์กโฟลว์เช่น:

 "image": "my_img.png",
...
"directory": "references",

เรียกใช้เวิร์กโฟลว์ของคุณ

เมื่ออัปเดตอินพุตทั้งหมดของคุณคุณสามารถเรียกใช้เวิร์กโฟลว์ของคุณได้

เวิร์กโฟลว์บางอย่างบันทึกไฟล์ชั่วคราวเช่นรูปภาพควบคุมที่ประมวลผลล่วงหน้า นอกจากนี้คุณยังสามารถส่งคืนสิ่งเหล่านี้ได้โดยเปิดใช้งานตัวเลือก return_temp_files

วิธีใช้อินสแตนซ์เฉพาะของคุณเอง

โมเดล any-comfyui-workflow ในการทำซ้ำเป็นรูปแบบสาธารณะที่ใช้ร่วมกัน ซึ่งหมายความว่าผู้ใช้จำนวนมากจะส่งเวิร์กโฟลว์ไปยังที่อาจแตกต่างจากคุณ ผลกระทบของสิ่งนี้คือเซิร์ฟเวอร์ COMFYUI ภายในอาจจำเป็นต้องเปลี่ยนโมเดลทั้งในและนอกหน่วยความจำซึ่งอาจทำให้เวลาการทำนายของคุณช้าลง

comfyui และโหนดที่กำหนดเองยังได้รับการปรับปรุงอย่างต่อเนื่อง แม้ว่านี่จะหมายความว่าเวอร์ชันใหม่ล่าสุดมักจะทำงานอยู่หากมีการเปลี่ยนแปลงการเปลี่ยนแปลงของโหนดที่กำหนดเองเวิร์กโฟลว์ของคุณอาจหยุดทำงาน

หากคุณมีอินสแตนซ์เฉพาะของคุณเอง:

• แก้ไขรหัสและโหนดที่กำหนดเองไปยังเวอร์ชันการทำงานที่รู้จัก
• มีเวลาทำนายที่เร็วขึ้นโดยเก็บแบบจำลองของคุณไว้ในหน่วยความจำ
• ได้รับประโยชน์จากการเพิ่มประสิทธิภาพภายในของ Comfyui เมื่อใช้งานเวิร์กโฟลว์เดียวกันซ้ำ ๆ

ตัวเลือกสำหรับการใช้อินสแตนซ์ของคุณเอง

เพื่อให้ได้ประสิทธิภาพที่ดีที่สุดจากรุ่นคุณควรเรียกใช้อินสแตนซ์เฉพาะ คุณมี 3 ตัวเลือก:

1. สร้างการปรับใช้ส่วนตัว (ง่ายที่สุด แต่คุณจะต้องจ่ายค่าการตั้งค่าและเวลาว่าง)
2. สร้างและปรับใช้ส้อมโดยใช้ COG (มีประสิทธิภาพมากที่สุด แต่ซับซ้อนที่สุด)
3. สร้างโมเดลใหม่จากแท็บรถไฟ (เรียบง่ายรุ่นของคุณอาจเป็นแบบสาธารณะหรือส่วนตัวและคุณสามารถนำน้ำหนักของคุณเองได้)

1. สร้างการปรับใช้ส่วนตัว

ไปที่:

https://replicate.com/deployments/Create

เลือก fofr/any-comfyui-workflow เป็นรุ่นที่คุณต้องการปรับใช้ เลือกฮาร์ดแวร์ของคุณและอินสแตนซ์ขั้นต่ำและสูงสุดและคุณก็พร้อมที่จะไป คุณจะถูกตรึงไว้ในเวอร์ชันที่คุณปรับใช้ เมื่อมีการอัพเดท any-comfyui-workflow คุณสามารถทดสอบเวิร์กโฟลว์ของคุณแล้วปรับใช้อีกครั้งโดยใช้เวอร์ชันใหม่

คุณสามารถอ่านเพิ่มเติมเกี่ยวกับการปรับใช้ในเอกสารที่ทำซ้ำ:

https://replicate.com/docs/deployments

2. สร้างและปรับใช้ส้อมโดยใช้ COG

คุณสามารถใช้ที่เก็บนี้เป็นเทมเพลตเพื่อสร้างโมเดลของคุณเอง สิ่งนี้จะช่วยให้คุณสามารถควบคุมเวอร์ชัน comfyui ได้อย่างสมบูรณ์โหนดที่กำหนดเองและ API ที่คุณจะใช้ในการเรียกใช้โมเดล

คุณจะต้องคุ้นเคยกับ Python และคุณจะต้องใช้ GPU เพื่อผลักดันโมเดลของคุณโดยใช้ COG การทำซ้ำมีคู่มือการเริ่มต้นใช้งานที่ดี: https://replicate.com/docs/guides/push-a-model

ตัวอย่าง

โมเดล kolors ในการทำซ้ำเป็นตัวอย่างที่ดีในการติดตาม:

• https://replicate.com/fofr/kolors (รุ่นที่มี API ที่กำหนดเอง)
• https://github.com/fofr/cog-comfyui-kolors (repo ใหม่)

มันถูกสร้างขึ้นจาก repo นี้แล้วนำไปใช้โดยใช้ COG คุณสามารถก้าวผ่านการกระทำของ repo นั้นเพื่อดูว่ามีอะไรเปลี่ยนแปลงและอย่างไร แต่ในวงกว้าง:

• ที่เก็บนี้ใช้เป็นเทมเพลต
• scripts/prepare_template.py เรียกใช้ก่อนเพื่อลบตัวอย่างและหม้อต้มที่ไม่จำเป็น
• custom_nodes.json ได้รับการแก้ไขเพื่อเพิ่มหรือลบโหนดที่กำหนดเองที่คุณต้องการตรวจสอบให้แน่ใจว่าได้เพิ่มหรือลบการพึ่งพาของพวกเขาออกจาก cog.yaml
• Run ./scripts/install_custom_nodes.py เพื่อติดตั้งโหนดที่กำหนดเอง (หรือ ./scripts/reset.py เพื่อติดตั้ง comfyui และโหนดที่กำหนดเองทั้งหมด)
• เวิร์กโฟลว์ถูกเพิ่มเป็น workflow_api.json
• predict.py ได้รับการอัปเดตด้วย API ใหม่และวิธี update_workflow มีการเปลี่ยนแปลงเพื่อให้สามารถปรับเปลี่ยนส่วนที่เหมาะสมของ JSON
• โมเดลได้รับการทดสอบโดยใช้ cog predict -i option_name=option_value -i another_option_name=another_option_value บน GPU
• โมเดลถูกผลักดันให้ทำซ้ำโดยใช้ cog push r8.im/your-username/your-model-name

3. สร้างโมเดลใหม่จากแท็บรถไฟ

เยี่ยมชมแท็บรถไฟในการทำซ้ำ:

https://replicate.com/fofr/any-comfyui-workflow/train

ที่นี่คุณสามารถให้ URL สาธารณะหรือส่วนตัวกับน้ำหนักในการกอดและ Civitai หาก URL เป็นส่วนตัวหรือต้องการการตรวจสอบสิทธิ์ตรวจสอบให้แน่ใจว่าได้รวมคีย์ API หรือโทเค็นการเข้าถึง

ตรวจสอบบันทึกการฝึกอบรมเพื่อดูชื่อไฟล์ที่จะใช้ในเวิร์กโฟลว์ JSON ของคุณ ตัวอย่างเช่น:

 Downloading from HuggingFace:
...
Size of the tar file: 217.88 MB
====================================
When using your new model, use these filenames in your JSON workflow:
araminta_k_midsommar_cartoon.safetensors

หลังจากทำงานฝึกอบรมคุณจะมีโมเดล Comfyui ของคุณเองพร้อมน้ำหนักที่ปรับแต่งเองระหว่างการตั้งค่าแบบจำลอง เพื่อป้องกันไม่ให้ผู้อื่นใช้มันคุณสามารถทำให้มันเป็นส่วนตัว โมเดลส่วนตัวจะถูกเรียกเก็บเงินแตกต่างกันไปตามโมเดลสาธารณะในการทำซ้ำ

พัฒนาในพื้นที่

โคลนที่เก็บนี้:

git clone --recurse-submodules https://github.com/fofr/cog-comfyui.git

เรียกใช้สคริปต์ต่อไปนี้เพื่อติดตั้งโหนดที่กำหนดเองทั้งหมด:

./scripts/install_custom_nodes.py

คุณสามารถดูรายการโหนดใน custom_nodes.json

เรียกใช้เว็บ UI จากคอนเทนเนอร์ COG ของคุณ

1. เครื่อง GPU : เริ่มคอนเทนเนอร์ COG และเปิดเผยพอร์ต 8188:

sudo cog run -p 8188 bash

การรันคำสั่งนี้เริ่มต้นคอนเทนเนอร์ COG และให้คุณเข้าถึงได้

2. ภายในคอนเทนเนอร์ COG : ตอนนี้เราสามารถเข้าถึงคอนเทนเนอร์ COG เราเริ่มเซิร์ฟเวอร์เชื่อมโยงกับอินเทอร์เฟซเครือข่ายทั้งหมด:

 cd ComfyUI/
python main.py --listen 0.0.0.0

3. เครื่องในท้องถิ่น : เข้าถึงเซิร์ฟเวอร์โดยใช้ IP ของเครื่อง GPU และพอร์ตที่เปิดเผย (8188): http://<gpu-machines-ip>:8188

เมื่อคุณ goto http://<gpu-machines-ip>:8188 คุณจะเห็นแบบฟอร์มเว็บ Comfyui คลาสสิก!