WaifuXL
WaifuXL Version 1.5
¡Waifuxl 1.5 ha sido lanzado!
A continuación, trabajaremos en la aceleración de GPU/CPU de escritorio para que los usuarios puedan mejorar las imágenes más grandes más rápido (tal vez incluso videos, depende del rendimiento que podamos obtener del modelo). Algunas cosas que estamos considerando para la aceleración son la compilación del modelo Pytorch 2.0, ONNX y AITemplate. Cuando esté disponible, pondremos un anuncio en el sitio web.
¡Mira una redacción completa aquí!
Waifuxl es un modelo de supervolución de última generación capacitado en ~ 1,200,000 imágenes de estilo de anime del conjunto de datos Danbooru2021. Puede encontrarlo en línea en https://waifuxl.com/. Tenga en cuenta que si bien puede excluir imágenes naturales (reales), el modelo solo estaba entrenado en dibujos de estilo de anime, así que no espere que sus calcetines sean apagados.
En general, el Real-ESRGAN superará los modelos utilizados en Waifu2x por un margen significativo, sin la necesidad de múltiples modelos entrenados en varios niveles de reducción de ruido.
Usando el tiempo de ejecución de ONNX, transmitimos los pesos de nuestros modelos ML directamente en su dispositivo para ser ejecutado localmente en WebAssembly. Hacerlo nos permite proporcionar este servicio únicamente a través de una página web estática, no se necesita un backend para la ejecución del modelo. Esto tiene el beneficio adicional de habilitar la privacidad de sus imágenes: sus imágenes no nos lo son, y nunca se lo serán.
Para nuestra red de súper resolución, estamos utilizando el Real-Sesngan de última generación y para nuestra red de etiquetado de imágenes estamos utilizando un MobileNetv3. Ambos fueron entrenados en un subconjunto de Danbooru2021.
El tiempo de ejecución de ONNX es multiproceso y admite instrucciones de SIMD, mientras que la escala en un teléfono o una computadora portátil es sorprendentemente rápida, el uso de una computadora más robusta traerá beneficios notables. Estamos alojados en las páginas de Cloudflare que proporciona un ancho de banda ilimitado. El sitio está escrito en React con Next.js y Tailwindcss.
Si desea ejecutar localmente, esto debería comenzar:
git clone https://github.com/TheFutureGadgetsLab/WaifuXL
cd WaifuXL
git checkout de_spaghetti
npm i
npm run devAlgunas notas:
de_spaghetti , de ahí el pago anterior.--enable-features=SharedArrayBufferDefinitivamente estamos abiertos a las contribuciones de código, ya sea limpieza de código, nuevas funciones o correcciones de errores. ¡Simplemente abra una discusión para que todos podamos colaborar y discutir el mérito de sus ideas!
Tenemos muchas cosas que nos gustaría agregar a Waifuxl, si tiene una sugerencia, ¡simplemente abra una discusión y podemos comenzar a hablar! Aquí hay algunas cosas que tenemos en mente:
Estamos abiertos a donaciones, solo diríjase a https://waifuxl.com/donate y vea las formas en que puede contribuir. Queremos dejar en claro que le brindamos este servicio, sin costo, porque es gratuito para nosotros . No tenemos páginas de backend y Cloudflare proporciona un ancho de banda ilimitado de forma gratuita. No se sienta obligado a donar incluso si se encuentra utilizando este servicio con frecuencia.
Además de las donaciones, estamos abiertos a calcular contribuciones (GPU). Nos gustaría entrenar a un mejor etiquetador y continuar actualizando el modelo de súper resolución a medida que se publican nuevos modelos SOTA. También nos gustaría entrenar un modelo en natural (imágenes reales) para que podamos mejorar más que los dibujos, y tal vez un modelo de transferencia de estilo. Todo esto requiere mucho cómputo que simplemente no tenemos. Si tiene los medios y se siente generoso, envíenos una línea.
