v0.2 업데이트: florence2 노드에 연결되는 잘못된 노드 수정
업데이트 2024년 8월 11일: 약간의 고민 끝에 Github/HF 페이지에서 시연하는 것처럼 컨트롤넷을 사용하여 고품질 이미지를 재현하는 방법을 찾았으며 2가지 샘플링 방법을 결합하여 다음과 같이 재구성할 수 있다는 것도 알게 되었습니다. 더 간단하고 효율적인 접근 방식으로 이러한 모든 변경 사항을 포함하도록 v0.3을 곧 업데이트할 예정입니다.
나는 img-to-img 및 text-to-img를 포함하여 FluxDev 모델을 사용하여 이미지를 생성하기 위한 다양한 기술을 결합하는 올인원 FluxDev 워크플로를 ComfyUI에 만들었습니다. 이 워크플로우는 LoRA, ControlNet을 사용하여 Ksampler, 동적 임계값 지정, 인페인팅 등을 통한 부정적인 프롬프트를 활성화할 수 있습니다. 이는 이러한 기술을 사용하는 "올바른" 방법이 아니라 사용 가능한 정보를 기반으로 한 개인적인 해석이라는 점에 유의하십시오.
USE Everywhere 노드를 적극 활용
이 워크플로우는 일상적인 생성 요구에 맞게 최대한 깔끔하고 효율적으로 만들기 위해 USE Everywhere 노드에 크게 의존합니다. 저는 개선을 위한 통찰력과 제안을 수집하기 위해 이 워크플로를 커뮤니티와 공유하고 있습니다. 자유롭게 실험해 보세요.
ComfyUI/models/clip 에 위치): flux_text_encodersComfyUI/models/vae 에 ae.sft 배치): ae.safetensorsComfyUI/models/controlnet 아래에 놓고 필요한 경우 폴더를 엽니다)ComfyUI/models/loras 아래 배치, 필요한 경우 폴더 열기)낮은 VRAM 설정:
"--lowvram" 인수(.bat 파일에 추가)를 사용하여 ComfyUI를 실행하여 텍스트 인코더를 CPU로 오프로드합니다.
이 워크플로를 생성하는 시점에는 다음을 포함하여 두 개의 ControlNet과 여러 LoRA를 사용할 수 있습니다.
XLabs-AI의 Canny 및 Realism LoRA만 테스트했으며 다음은 몇 가지 주요 사항입니다.
git checkout xlabs_flux_controlnet동적 임계값을 사용하는 Ksampler 작업 흐름은 공식 ComfyUI 블로그 게시물을 기반으로 합니다. 그리고 나는 인용한다:
두 모델 모두 BasicGuider 와 함께 SamplerCustomAdvanced 사용하거나 KSampler 사용하는 경우 CFG 1 로 설정할 수 있습니다. Dev 모델의 새로운 FluxGuidance 사용하여 증류된 CFG와 유사한 값을 제어할 수 있습니다. (현실감이나 더 나은 스타일 제어를 위해 이 값을 2로 설정하는 것이 좋습니다.) 이 모델은 실제 CFG 없이 작동하도록 훈련되었습니다. 그렇다고 CFG를 절대 사용할 수 없다는 말은 아닙니다. 실제로 커뮤니티는 새로운 모델을 최대한 활용하기 위한 다양한 방법을 테스트하기 위한 실험 플랫폼으로 ComfyUI를 신속하게 활용했습니다. (예: 동적 임계값 사용자 정의 노드를 사용하거나 새로운 FluxGuidance 내장 노드를 사용하여 보상하고 CFG 및 부정적인 프롬프트를 활성화합니다. 또한 Flux 시그마 이동을 제어하기 위해 ModelSamplingFlux 내장되어 있지만 이점은 더 제한적입니다.)
이는 저만의 해석이므로 자유롭게 변경하고 실험해 보세요.
이 샘플링 방법을 사용한 0샷 비 체리 픽 데모:
여기에서 저장소를 찾을 수 있습니다.
픽셀 해상도 계산기는 어제 LLama3.1의 도움으로 개발한 맞춤형 노드입니다(예, 저는 프로그래밍 기술이 없어서 처음부터 배우는 중입니다). 이는 선택한 메가픽셀과 종횡비에서 가장 가까운 "잠재 친화적" 픽셀 해상도를 생성하는 매우 간단한 노드일 뿐입니다. 모든 사람들이 SDXL에서와 같이 너비 및 높이 픽셀 수 대신 픽셀 해상도에 대해 이야기하는 것처럼 보이기 때문에 원래 Flux 데모 워크플로의 ImageScaleToTotalPixels 노드에서 영감을 얻었습니다. 잠재 샘플 입력을 너비 및 높이 픽셀 수로 변환하는 노드도 있습니다.
업스케일링 워크플로도 포함되어 있습니다. Impact 팩의 Iterative Upscale(이미지) 노드와 타일 확산을 사용하여 선택한 고급 모델로 업스케일링 및 디테일링 노드 그룹과 같은 고해상도 수정을 생성합니다. PK 후크를 사용하여 잡음 제거, CFG 및 단계 스케줄링도 수행할 수 있습니다.
데모 이미지는 여기에서 비교됩니다.
Flux용으로 훈련된 인페인팅 모델이 아직 없기 때문에 여기서는 가장 간단한 형태의 인페인팅만 달성할 수 있습니다. ControlNet을 통합하려고 시도할 수도 있지만 제곱 기반 해상도 및 안내 척도(4)에 주의하십시오.
세부 캡션을 위해 비전 LLm을 사용하고 즉각적인 통찰력을 얻기 위해 ollama 및 Florence2를 실행하기 위한 몇 가지 간단한 노드입니다. 데모에서는 LLaVa 13B 및 Florence2를 사용하고 있습니다. Ollama, Ollama ComfyUI 및 Florence2 ComfyUI 노드가 필요합니다. 링크를 참조하세요. 자세한 사용법 및 설치 가이드를 확인하세요.
사용하기 어려우신 분들을 위해 자세한 가이드를 추가하겠습니다....
Flux는 정말 유연한 모델이고, 첫 번째 버전이라는 점에서 매우 인상적입니다. 출시 후 2주 이내에 이미 ControlNet과 LoRA가 출시되었으며 이는 커뮤니티가 이 모델을 얼마나 좋아하는지 보여줍니다. 나는 이제 인페인팅 모델을 기대하고 있습니다. 그리고 가장 중요한 것은 Matteo님, Flux용 iPadapter를 출시해 주세요.... 제발, 한 가지 빠진 퍼즐만 풀면 완성됩니다....
즐거운 생성되세요!
추신: 아무런 이유 없이 바로 이 저장소에 대한 철자 검사 및 문법 검사를 수행하는 데 도움이 되도록 LLama3.1에서 사용하는 프롬프트를 포함하고 있습니다.
강력한 글쓰기 기술과 글쓰기 전반에 대한 깊은 이해를 갖춘 전문 작가로 활동하십시오. 요청 시 사용자가 다시 작성하고, 형식을 다시 지정하고, 문법 및 철자 검사를 수행하도록 지원합니다. 귀하의 작업에는 다음이 포함되어야 합니다.
추가적으로 다음을 수행해 주십시오.
이러한 요구 사항을 이해하고 있습니까?
