A Estabilidade AI, uma empresa conhecida por modelos de imagens de geração de texto estável, lançou recentemente uma grande colaboração com o braço gigante global de semicondutores. O objetivo dessa colaboração é introduzir a tecnologia de IA que gera áudio em dispositivos móveis, permitindo que o modelo estável de áudio aberto seja executado totalmente nas CPUs do ARM. Isso significa que os usuários podem gerar rapidamente efeitos sonoros, amostras de áudio e elementos de produção diretamente no dispositivo sem uma conexão com a Internet, melhorando bastante a conveniência e a eficiência da criação.
A estabilidade da IA diz que, à medida que a inteligência artificial generativa se torna cada vez mais usada entre empresas e criadores profissionais, torna -se especialmente importante garantir que esses modelos e fluxos de trabalho sejam facilmente usados em todos os campos criativos. Isso não apenas melhora a eficiência criativa, mas também ajuda a integrar perfeitamente essas tecnologias ao processo de produção de mídia visual, impulsionando a inovação e o desenvolvimento de todo o setor.
Diante da crescente demanda, a IA de estabilidade está comprometida em melhorar a eficiência de seus modelos em execução em dispositivos de borda. Ao otimizar o modelo estável de áudio aberto para ajustar os dispositivos móveis, os testes iniciais mostraram que o tempo para gerar áudio em um dispositivo CPU ARM atingiu 240 segundos. No entanto, ao destilar o modelo e alavancar a pilha de software da ARM, especialmente através do kernel de multiplicação de matriz INT8 no Kleidiai da XNNPack, a empresa reduziu com sucesso o tempo para gerar um clipe de áudio de 11 segundos para 8 segundos, alcançando um aumento de 30 vezes na velocidade de resposta.
Deve -se notar que os usuários precisam de um dispositivo móvel compatível para experimentar esse recurso. Considerando que a maioria dos smartphones agora está equipada com uma CPU baseada em ARM, essa tecnologia se tornou mais acessível a todos os tipos de usuários. No futuro, a AI de estabilidade também planeja trazer todos os seus modelos nas áreas de imagens, vídeos e 3D para os dispositivos Edge, com o objetivo de revolucionar a maneira como a mídia visual é criada em dispositivos móveis e trazer aos usuários uma experiência criativa mais rica e conveniente.
Pontos -chave:
A estabilidade da AI fez uma parceria com a ARM para lançar a tecnologia que gera offline em áudio em dispositivos móveis.
Através da destilação do modelo e da otimização do software, o tempo de geração de áudio é reduzido de 240 segundos para 8 segundos e a eficiência é aumentada em 30 vezes.
Essa tecnologia pode ser usada na maioria dos smartphones equipados com CPUs ARM e expandirá para mais criação de mídia no futuro.