Stability Ai, una compañía conocida por los modelos de imagen generadores de texto de difusión estable, lanzó recientemente una colaboración importante con el brazo gigante global de semiconductores. El objetivo de esta colaboración es introducir tecnología AI que genere audio a dispositivos móviles, lo que permite que el modelo de Open de audio estable se ejecute completamente en las CPU ARM. Esto significa que los usuarios pueden generar rápidamente efectos de sonido, muestras de audio y elementos de producción directamente en el dispositivo sin una conexión a Internet, mejorando en gran medida la conveniencia y la eficiencia de la creación.
La IA de estabilidad dice que a medida que la inteligencia artificial generativa se vuelve cada vez más ampliamente utilizada entre las empresas y los creadores profesionales, se vuelve especialmente importante garantizar que estos modelos y flujos de trabajo se usen fácilmente en cada campo creativo. Esto no solo mejora la eficiencia creativa, sino que también ayuda a integrar a la perfección estas tecnologías en el proceso de producción de medios visuales, lo que impulsa la innovación y el desarrollo en toda la industria.
Frente a la creciente demanda, la IA de estabilidad se compromete a mejorar la eficiencia de sus modelos que ejecutan dispositivos de borde. Al optimizar el modelo de Audio Open Stable para adaptarse a los dispositivos móviles, las pruebas iniciales mostraron que el tiempo para generar audio en un dispositivo CPU ARM alcanzó los 240 segundos. Sin embargo, al destilar el modelo y aprovechar la pila de software de ARM, especialmente a través del núcleo de multiplicación de matriz INT8 en Kleidiai de Xnnpack, la compañía redujo con éxito el tiempo para generar un clip de audio de 11 segundos a 8 segundos, logrando un aumento de 30 veces en la velocidad de respuesta.
Cabe señalar que los usuarios necesitan un dispositivo móvil compatible para experimentar esta función. Teniendo en cuenta que la mayoría de los teléfonos inteligentes ahora están equipados con una CPU basada en ARM, esta tecnología se ha vuelto más accesible para todo tipo de usuarios. En el futuro, la estabilidad AI también planea traer todos sus modelos en los campos de imágenes, videos y 3D a los dispositivos Edge, con el objetivo de revolucionar la forma en que se crea los medios visuales en los dispositivos móviles y traer a los usuarios una experiencia creativa más rica y conveniente.
Puntos clave:
La IA de estabilidad se asoció con ARM para lanzar tecnología que genera audio fuera de línea en dispositivos móviles.
A través de la destilación del modelo y la optimización del software, el tiempo de generación de audio se acorta de 240 segundos a 8 segundos, y la eficiencia aumenta 30 veces.
Esta tecnología se puede usar en la mayoría de los teléfonos inteligentes equipados con CPU ARM y se expandirá a una mayor creación de medios en el futuro.