ComfyUI All in One FluxDev Workflow

ComfyUI-一體化 FluxDev 工作流程

更新 v0.2 ：修正了連接到 florence2 節點的錯誤節點

2024 年8 月11 日更新：經過一番擺弄後，我找到了一種使用controlnet 重現高品質影像的方法，正如他們在Github/HF 頁面上演示的那樣，我還發現這兩種採樣方法可以組合併重新組織為一個更簡單、更有效的方法，我將很快更新 v0.3 以包含所有這些變更。

概述

我在 ComfyUI 中創建了一個一體化 FluxDev 工作流程，它結合了使用 FluxDev 模型生成圖像的各種技術，包括 img-to-img 和 text-to-img。此工作流程可使用 LoRA、ControlNet，透過 Ksampler 啟用負面提示、動態閾值、修復等。請注意，這不是使用這些技術的「正確」方式，而是我根據可用資訊的個人解釋。

大量使用 USE Everywhere 節點

此工作流程在很大程度上依賴 USE Everywhere 節點，以使其盡可能乾淨且有效率地滿足我的日常生成需求。我正在與社群分享此工作流程，以收集見解和改進建議。請隨意自行嘗試。

主要特點

• 在圖像到圖像和文字到圖像生成之間切換
• 對於文字到影像的生成，請從預先定義的 SDXL 解析度中進行選擇，或使用像素解析度計算器節點透過開關根據寬高比和百萬像素建立解析度
• 載入 ControlNet 模型和 LoRA
• 使用模型取樣Flux和Sampler Custom Advance節點進行取樣，基於原先的官方示範工作流程
• 使用動態閾值和 Ksampler Advance 節點進行取樣，透過 FluxGuidance 實現正負調節
• 簡單的修補
• 高解析度修復，例如使用平鋪擴散進行迭代升級

使用此工作流程

1. 更新：無需手動自訂安裝，現在可以在管理器中找到節點，只需按照步驟 3 操作即可。透過 ComfyUI Manager 中的 git URL 安裝像素解析度計算器自訂節點（我還沒有提交拉取） url : https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. 下載 JSON 檔案並將其匯入 ComfyUI
3. 透過 ComfyUI 管理器安裝缺少的節點
4. 配置交換機
5. 新增提示（或使用視覺法學碩士的詳細說明）
6. 上傳 ControlNet 影像（可選）
7. 繞過/取消繞過您需要的節點
8. 產生！

要求

• 我的像素解析度計算器自訂節點（可選）
• 原始權重：flux1-dev.safetensors
• FP8 版本（適用於<24GB VRAM 系統）：flux1-dev-fp8.safetensors
• 文字編碼器（放置在ComfyUI/models/clip ）：flux_text_encoders
• VAE（將ae.sft放在ComfyUI/models/vae中）：ae.safetensors
• 對於較低的 RAM 使用量，請下載 FP8 T5XXL 編碼器（品質會有所下降）
• xlabs-ai Flux-controlnet-canny Weight controlnet.safetensors （放置在ComfyUI/models/controlnet下，如果需要，開啟資料夾）
• Flux_RealismLora_converted Flux_realism_lora.safetensors （放置在ComfyUI/models/loras下，如果需要，打開資料夾）
• Ollama 和 llava：13b（可選）
• Microsoft Florence 2 模型（可選，但應在首次運行時自動下載）

低 VRAM 設定：

使用“--lowvram”參數啟動 ComfyUI（新增至您的 .bat 檔案）以將文字編碼器卸載到 CPU

已知錯誤

• 如果您使用 Ctrl + Z 撤消更改，某些任意位置的節點將自行取消鏈接，找到丟失鏈接的節點，拔下並重新插入輸入，一切都應該再次工作。

ControlNet 和 LoRA

在建立此工作流程時，有兩個可用的 ControlNet 和多個 LoRA，包括：

• 來自 XLabs-AI 的 Canny ControlNet 和 Realism LoRA
• 來自 InstantX 的 Canny 控制網
• Advokat 的美學（動漫）LoRA for FLUX
• 我還在instantX的抱臉頁面下發現了一個控制netunion模型頁面，所以也許不久的將來我們就會有一個union模型。

我只測試了 XLabs-AI 的 Canny 和 Realism LoRA，以下是一些關鍵要點：

• 如果您遇到錯誤訊息說沒有密鑰，您需要轉到 ComfyUI 目錄並打開終端以輸入代碼： git checkout xlabs_flux_controlnet
• 根據我的測試，該模型似乎是在方形縱橫比和指導比例 4 上進行訓練的，此處也提到了
• 我只能在最少的提示下讓它工作，就像 github 上的官方演示一樣。複雜的提示將無法運作。雖然我未能從演示中重現完全相同的質量，但也許我做錯了什麼。
• 至於 LoRA，您需要透過 comfyanonymous 下載轉換後的 LoRA 才能使用
• XLabs controlnet 屬於 FLUX.1 [dev] 非商業許可證，至於 intantX 我懶得找到任何關於 if 的資訊（應該是相同的，對吧？）
• 基於 Simple+Advanced FLUX.1 ComfyUI Workflows by markury 的 LoRA 工作流程

動態閾值和負面提示

具有動態閾值的 Ksampler 工作流程是基於官方 ComfyUI 部落格文章。我引用：

請注意，對於這兩種模型，您可以將SamplerCustomAdvanced與BasicGuider一起使用，或者如果您使用KSampler ，則將CFG設為1 。您可以在 Dev 模型上使用新的FluxGuidance來控制類似 CFG 的蒸餾值。 （為了真實感或更好的風格控制，建議將其設為 2）這些模型經過訓練，可以在沒有真實 CFG 的情況下工作。但這並不是說您永遠不能使用 CFG - 事實上，社區已經迅速利用 ComfyUI 作為實驗平台來測試各種技巧，​​以充分利用新模型。 （例如使用 Dynamic Thresholding 自訂節點，或使用新的FluxGuidance內建節點進行補償，並啟用 CFG 和負提示。還有內建的ModelSamplingFlux來控制 Flux sigma 偏移，儘管其好處比較有限。）

請記住，這是我自己的解釋，請隨意進行任何更改和實驗。

使用此採樣方法進行 0 次非櫻桃選擇演示：

像素解析度計算器節點

您可以在此處找到該存儲庫。

像素解析度計算器是我昨天在 LLama3.1 的幫助下開發的自訂節點（是的，我沒有程式設計技能，從頭開始學習）。它只是一個非常簡單的節點，可以根據您選擇的百萬像素和寬高比產生最接近的“潛在友好”像素解析度。我從原始 Flux 演示工作流程中的 ImageScaleToTotalPixels 節點中獲得了靈感，因為每個人似乎都在談論像素分辨率，而不是像 SDXL 中那樣談論寬度和高度像素計數。還有一個節點可將潛在樣本輸入轉換為寬度和高度像素數。

使用平鋪擴散進行放大

還包括升級工作流程。它使用影響套件中的迭代升級（圖像）節點和平鋪擴散來創建高解析度修復，例如使用您選擇的升級模型進行升級和細節化節點組。您也可以使用 PK 掛鉤進行降噪、CFG 和步驟調度。

演示圖像比較在這裡。

修復

由於還沒有針對 Flux 訓練的修復模型，因此這裡只能實現最簡單形式的修復。您也可以嘗試合併 ControlNet，但請注意基於平方的解析度和導引比例 (4)。

奧拉馬和弗洛倫斯2

只需一些簡單的節點即可運行ollama 和Florence2，以便使用Vision LLm 進行詳細字幕並獲得及時的見解，我在演示中使用LLaVa 13B 和Florence2 Large，您將需要Ollama 、 Ollama ComfyUI 和Florence2 ComfyUI 節點，請請參閱連結詳細的使用和安裝指南。

詳細指南

如果人們覺得難以使用，將添加更詳細的指南...

---

學士

Flux 是一個非常靈活的模型，鑑於它是第一個版本，它非常令人印象深刻。發布後兩週內，已經有 ControlNet 和 LoRA 可用，這表明社區對這種模型的熱愛。我現在期待一些修復模型。最重要的是，Matteo，請發布一款適用於 Flux 的 iPadapter...拜託，缺少一個謎題，我就完成了...

快樂生成！

PS 我添加了與 LLama3.1 一起使用的提示，以幫助我無緣無故地對此存儲庫進行拼寫檢查和語法檢查：

擔任具有強大寫作技巧並對一般寫作有深刻理解的專業作家。根據要求協助使用者重寫、重新格式化以及執行語法和拼字檢查。您的任務應包括：

1. 重寫文件以確保語法和拼字正確。
2. 改寫句子，讓句子更流暢、更容易理解。
3. 使用 Markdown格式化內容以增強可讀性。
4. 保留原始內容：不要刪除、修改文件或向文件添加任何不必要的資訊。
5. 維護現有的 Markdown 格式：如果文件已使用 Markdown，請保持格式不變。如有必要，您可以重新格式化，但請避免影響原始結構。
6. 保留技術術語：避免重寫與主題相關的特定術語，例如“Ksampler”或“LoRAs”，除非您不確定它們的含義。在這種情況下，請要求用戶確認。
7. 保留原始語氣：保持文件的語氣一致，無論是正式或非正式。確保笑話和幽默元素完好無損。

另外，請：

1. 使用鍊式思維：分享您重寫文件時的思考過程，解釋更改背後的原因。
2. 列出所做的更改：指定您對文件所做的更改，允許使用者追蹤修訂。
3. 提供建議：如果有多種方法可以重寫某個部分，請提供建議並讓使用者決定他們喜歡哪種方法。

這些要求你了解嗎？