WaifuXL

Waifuxl

알아채다

Waifuxl 1.5가 출시되었습니다!
다음으로 우리는 데스크탑 GPU/CPU 가속 작업을 수행하여 사용자가 더 큰 이미지를 더 빨리 고급 스케일 할 수 있습니다 (아마도 비디오에서도 모델에서 얻을 수있는 성능에 따라 다름). 가속화를 위해 고려하고있는 것은 Pytorch 2.0 모델 컴파일, onx 및 aitemplate입니다. 이용 가능하면 웹 사이트에 공지 사항을 발표 할 것입니다.

---

여기에서 전체 글을 확인하십시오!
Waifuxl은 Danbooru2021 데이터 세트의 ~ 1,200,000 애니메이션 스타일 이미지에 대해 훈련 된 최첨단 슈퍼 해상도 모델입니다. https://waifuxl.com/에서 온라인으로 찾을 수 있습니다. 자연스러운 (실제) 이미지를 상환 할 수는 있지만 모델은 애니메이션 스타일의 그림에 대해서만 훈련되었으므로 양말을 날려 버릴 것으로 기대하지 마십시오.

Waifu2x와 비교

일반적으로 Real-Esrgan은 다양한 노이즈 감소 수준에 대해 훈련 된 다중 모델이 필요없이 Waifu2X에 사용 된 모델을 상당한 마진으로 능가합니다.

작동 방식

Onnx 런타임을 사용하여 WebAssembly에서 로컬로 실행되도록 ML 모델의 가중치를 장치로 직접 스트리밍합니다. 그렇게하면 정적 웹 페이지를 통해서만이 서비스를 제공 할 수 있으며, 모델 실행에 대한 백엔드가 필요하지 않습니다. 이것은 이미지의 개인 정보를 가능하게하는 이점이 있습니다. 이미지는 우리에게 전송되지 않습니다.

모델

우리는 Super Resolution Network의 경우 최첨단 Real-Esrgan을 사용하고 있으며 이미지 태그 네트워크의 경우 Mobilenetv3을 사용하고 있습니다. 둘 다 Danbooru2021의 하위 집합에 대해 훈련을 받았다.

대지

ONNX 런타임은 멀티 스레드이며 SIMD 명령을 지원하는 경우 전화 나 노트북에서의 업 스케일링이 매우 빠릅니다. 더 강력한 컴퓨터를 사용하면 눈에 띄는 이점이 있습니다. 우리는 무제한 대역폭을 제공하는 CloudFlare 페이지에서 호스팅됩니다. 이 사이트는 Next.js 및 Tailwindcss와의 반응으로 작성되었습니다.

현지에서 실행

로컬로 달리기를 원한다면 시작해야합니다.

git clone https://github.com/TheFutureGadgetsLab/WaifuXL
cd WaifuXL
git checkout de_spaghetti
npm i
npm run dev

몇 가지 메모 :

• 메인 브랜치는 더 이상 어떤 이유로 작동하지 않습니다. 우리는 de_spaghetti 지점에서 잠시 동안 전체 재 작성을 해왔으므로 위의 체크 아웃입니다.
• 스펙터 때문에 멀티 스레딩은 로컬로 수행하기가 어렵습니다. Google Chrome이 닫혀 있는지 확인한 다음 다음 인수와 함께 명령 행에서 시작하여 멀티 스레딩을 작동시킬 수 있습니다. --enable-features=SharedArrayBuffer
• 웹 사이트를 다시 작성하면 Pytorch, Onnx 런타임 또는 Aitemplate을 사용하여 Waifuxl의 GPU 가속 버전을 작업 할 것입니다. 이 작업이 완료되면 자신의 컴퓨터에서 로컬로 실행해야하지만 성능 향상은 중요 해야합니다.

기여 가이드

코드 / 사이트

우리는 코드 정리, 새로운 기능 또는 버그 픽스 등 코드 기여에 확실히 열려 있습니다. 우리 모두가 당신의 아이디어의 장점을 협력하고 토론 할 수 있도록 토론을 열기 만하면됩니다!

아이디어

제안이 있으면 토론을 열면 대화를 시작할 수 있습니다. 우리가 생각한 몇 가지 사항은 다음과 같습니다.

• 스타일 전송을 통해 실제 이미지에 애니메이션 스타일을 적용 할 수 있습니다.
• 부활절 달걀. 우리는 수천 개의 태그와 일치 할 수있는 태그가 있습니다. 아마도 최상위 와이파이 (즉, 트럭 군)를 업 스케일하면 멋진 불꽃 놀이 효과와 같은 것을 가질 수 있습니다.

기부

우리는 기부에 열려 있고 https://waifuxl.com/donate로 가서 기여할 수있는 방법을 확인하십시오. 우리는이 서비스를 귀하에게 무료로 제공하고 있음을 분명히하고 싶습니다. 비용 이 무료이기 때문입니다. 백엔드가 없으며 CloudFlare 페이지는 무료로 무제한 대역폭을 제공합니다. 이 서비스를 자주 사용하는 경우에도 기부 할 의무가 없다고 생각하십시오.

기부 외에도 기부금을 계산할 수 있습니다 (GPU). 새로운 SOTA 모델이 게시되면 더 나은 태그를 훈련시키고 슈퍼 해상도 모델을 계속 업데이트하고 싶습니다. 우리는 또한 자연 (실제 이미지)에 대한 모델을 훈련시켜 도면보다 더 많은 것을 고급 스케일하고 아마도 스타일 전송 모델 일 수 있습니다. 이 모든 것은 우리가 단순히 가지고 있지 않은 많은 컴퓨팅을 필요로합니다. 당신이 수단이 있고 관대하다고 느끼면, 우리에게 줄을 두십시오.