WaifuXL
WaifuXL Version 1.5
Waifuxl 1.5 a été publié!
Ensuite, nous travaillerons sur l'accélération GPU / CPU de bureau afin que les utilisateurs puissent augmenter les images plus grandes plus rapidement (peut-être même les vidéos, dépend des performances que nous pouvons retirer du modèle). Certaines choses que nous considérons pour l'accélération sont la compilation du modèle Pytorch 2.0, l'ONNX et l'AITEmplate. Lorsque cela sera disponible, nous allons mettre une annonce sur le site Web.
Consultez une rédaction complète ici!
Waifuxl est un modèle de super résolution de pointe formé sur environ 1 200 000 images de style anime de l'ensemble de données Danbooru2021. Vous pouvez le trouver en ligne sur https://waifuxl.com/. Notez que bien que vous puissiez haut de gamme d'images naturelles (réelles), le modèle n'a été formé que sur des dessins de style anime, alors ne vous attendez pas à ce que vos chaussettes soient soufflées.
En général, le Real-Esrgan surpassera les modèles utilisés sur WAIFU2X par une marge significative, sans avoir besoin de modèles multiples formés sur divers niveaux de réduction du bruit.
En utilisant l'exécution ONNX, nous diffusons les poids de nos modèles ML directement sur votre appareil à exécuter localement dans WebAssembly. Cela nous permet de fournir ce service uniquement via une page Web statique, aucun backend pour l'exécution du modèle nécessaire. Cela a l'avantage supplémentaire de permettre la confidentialité de vos images - vos images ne sont pas et ne seront jamais envoyées.
Pour notre réseau Super Resolution, nous utilisons le Real-Esrgan à la pointe de la technologie et pour notre réseau de balise d'image, nous utilisons un MobileNetV3. Les deux ont été formés sur un sous-ensemble de Danbooru2021.
L'ONNX Runtime est multithread et prend en charge les instructions SIMD - alors que la mise à l'échelle sur un téléphone ou un ordinateur portable est étonnamment rapide, l'utilisation d'un ordinateur plus robuste apportera des avantages notables. Nous sommes hébergés sur des pages CloudFlare qui fournit une bande passante illimitée. Le site est écrit en réaction avec next.js et tailwindcss.
Si vous souhaitez courir localement, cela devrait vous aider à démarrer:
git clone https://github.com/TheFutureGadgetsLab/WaifuXL
cd WaifuXL
git checkout de_spaghetti
npm i
npm run devQuelques notes:
de_spaghetti , d'où la caisse ci-dessus.--enable-features=SharedArrayBufferNous sommes définitivement ouverts aux contributions de code, qu'il s'agisse de nettoyage de code, de nouvelles fonctionnalités ou de bugfixes. Ouvrez simplement une discussion afin que nous puissions tous collaborer et discuter du mérite de vos idées!
Nous avons beaucoup de choses que nous aimerions ajouter à Waifuxl, si vous avez une suggestion, ouvrez simplement une discussion et que nous pouvons commencer à parler! Voici quelques choses que nous avons en tête:
Nous sommes ouverts aux dons, dirigez-vous simplement sur https://waifuxl.com/donate et voyez les façons de contribuer. Nous voulons indiquer clairement que nous vous fournissons ce service, gratuitement, car il nous est gratuit. Nous n'avons pas de backend et CloudFlare Pages fournit gratuitement une bande passante illimitée. Veuillez ne pas vous sentir obligé de faire un don même si vous vous retrouvez fréquemment à utiliser ce service.
En plus des dons, nous sommes prêts à calculer les contributions (GPU). Nous aimerions former un meilleur tagueur et continuer à mettre à jour le modèle Super Résolution à mesure que de nouveaux modèles SOTA sont publiés. Nous aimerions également former un modèle sur les images naturelles (images réelles) afin que nous puissions haut de gamme que les dessins, et peut-être un modèle de transfert de style. Tout cela prend beaucoup de calcul que nous n'avons tout simplement pas. Si vous avez les moyens et que vous vous sentez généreux, envoyez-nous une ligne.
