Stability AI, une entreprise connue pour des modèles d'images stables générant du texte de diffusion, a récemment lancé une collaboration majeure avec le bras géant mondial des semi-conducteurs. L'objectif de cette collaboration est d'introduire une technologie d'IA qui génère des appareils audio vers mobiles, permettant au modèle audio ouvert stable de s'exécuter entièrement sur des processeurs ARM. Cela signifie que les utilisateurs peuvent générer rapidement des effets sonores, des échantillons audio et des éléments de production directement sur l'appareil sans connexion Internet, améliorant considérablement la commodité et l'efficacité de la création.
La stabilité AI dit que, à mesure que l'intelligence artificielle générative devient de plus en plus largement utilisée parmi les entreprises et les créateurs professionnels, il devient particulièrement important de s'assurer que ces modèles et flux de travail sont facilement utilisés dans tous les domaines créatifs. Cela améliore non seulement l'efficacité créative, mais aide également à intégrer de manière transparente ces technologies dans le processus de production des médias visuels, stimulant ainsi l'innovation et le développement à travers l'industrie.
Face à la demande croissante, la stabilité de l'IA s'engage à améliorer l'efficacité de ses modèles fonctionnant sur les appareils Edge. Lors de l'optimisation du modèle audio ouvert stable pour ajuster les appareils mobiles, les tests initiaux ont montré que le temps pour générer l'audio sur un appareil CPU ARM a atteint 240 secondes. Cependant, en distillant le modèle et en tirant parti de la pile logicielle de l'ARM, en particulier via le noyau de multiplication de la matrice INT8 dans Kleidiai de XNNPACK, la société a réussi à réduire le temps pour générer un clip audio de 11 secondes à 8 secondes, atteignant une augmentation de 30 fois de la vitesse de réponse.
Il convient de noter que les utilisateurs ont besoin d'un appareil mobile compatible pour expérimenter cette fonctionnalité. Étant donné que la plupart des smartphones sont désormais équipés d'un CPU basé sur ARM, cette technologie est devenue plus accessible à toutes sortes d'utilisateurs. À l'avenir, la stabilité AI prévoit également d'apporter tous ses modèles dans les domaines des images, des vidéos et des appareils Edge, visant à révolutionner la façon dont les médias visuels sont créés sur des appareils mobiles et apporter aux utilisateurs une expérience créative plus riche et plus pratique.
Points clés:
La stabilité AI s'est associée à ARM pour lancer une technologie qui génère audio hors ligne sur les appareils mobiles.
Grâce à la distillation du modèle et à l'optimisation des logiciels, le temps de génération audio est raccourci de 240 secondes à 8 secondes, et l'efficacité est augmentée de 30 fois.
Cette technologie peut être utilisée sur la plupart des smartphones équipés de processeurs ARM et s'étendra à une plus grande création de médias à l'avenir.