WaifuXL
WaifuXL Version 1.5
Waifuxl 1.5 foi lançado!
Em seguida, trabalharemos na aceleração da GPU/CPU para desktop para que os usuários possam melhorar as imagens maiores mais rapidamente (talvez até vídeos, depende do desempenho que podemos obter do modelo). Algumas coisas que estamos considerando para a aceleração são a compilação do modelo Pytorch 2.0, ONNX e AITEMPLAT. Quando isso estiver disponível, colocaremos um anúncio no site.
Confira uma redação completa aqui!
O modelo Waifuxl é um modelo de super resolução de última geração treinado em ~ 1.200.000 imagens em estilo de anime do conjunto de dados DANBOORU2021. Você pode encontrá -lo on -line em https://waifuxl.com/. Observe que, embora você possa sofrer imagens naturais (reais), o modelo só foi treinado em desenhos ao estilo de anime, portanto, não espere que suas meias explodissem.
Em geral, o Esrganal superará os modelos usados no WAIFU2X por uma margem significativa, sem a necessidade de vários modelos treinados em vários níveis de redução de ruído.
Usando o tempo de execução do ONNX, transmitimos os pesos de nossos modelos ML diretamente para o seu dispositivo para serem executados localmente em WebAssembly. Isso nos permite fornecer esse serviço apenas por meio de uma página estática, sem back -end para a execução do modelo necessária. Isso tem o benefício adicional de permitir a privacidade de suas imagens-suas imagens não são, e nunca serão enviadas para nós.
Para nossa rede Super Resolução, estamos usando o Esmrgan Real-of-Of-Art e, para nossa rede de marcação de imagem, estamos usando um MobileNetv3. Ambos foram treinados em um subconjunto de Danbooru2021.
O OnNX Runtime é multithread e suporta instruções SIMD-e o aumento de um telefone ou um laptop é surpreendentemente rápido, o uso de um computador mais robusto trará benefícios perceptíveis. Estamos hospedados em páginas Cloudflare, que fornecem largura de banda ilimitada. O site está escrito no React com o Next.js e o Tailwindcss.
Se você quiser correr localmente, isso deve começar:
git clone https://github.com/TheFutureGadgetsLab/WaifuXL
cd WaifuXL
git checkout de_spaghetti
npm i
npm run devAlgumas notas:
de_spaghetti , daí o check -out acima.--enable-features=SharedArrayBufferDefinitivamente, estamos abertos a contribuições de código, seja limpeza de código, novos recursos ou bugs. Basta abrir uma discussão para que todos possamos colaborar e discutir o mérito de suas idéias!
Temos muitas coisas que gostaríamos de adicionar ao Waifuxl, se você tiver uma sugestão, simplesmente abra uma discussão e podemos começar a falar! Aqui estão algumas coisas que temos em mente:
Estamos abertos a doações, basta ir para https://waifuxl.com/donate e ver as maneiras pelas quais você pode contribuir. Queremos deixar claro que estamos fornecendo esse serviço a você, sem custo, porque está livre de custo para nós . Não temos páginas de back -end e CloudFlare fornecem largura de banda ilimitada gratuitamente. Por favor, não se sinta obrigado a doar, mesmo se você se encontrar usando esse serviço com frequência.
Além das doações, estamos abertos para calcular as contribuições (GPUs). Gostaríamos de treinar um tagger melhor e continuar atualizando o modelo de super resolução, à medida que novos modelos SOTA são publicados. Também gostaríamos de treinar um modelo em (imagens reais) naturais para que possamos aumentar mais do que desenhos e talvez um modelo de transferência de estilo. Tudo isso exige muita computação que simplesmente não temos. Se você tem os meios e está se sentindo generoso, envie -nos uma linha.
