Pruna Ai é uma startup da Europa com foco no desenvolvimento de algoritmos de compressão para os modelos de IA. Recentemente, a empresa anunciou que abrirá sua estrutura de otimização para ajudar os desenvolvedores a compactar e a IA modelos com mais eficiência.
A estrutura desenvolvida pela PRUNA AI combina uma variedade de abordagens de eficiência, incluindo cache, poda, quantização e destilação, para melhorar o desempenho dos modelos de IA. Essa estrutura não apenas padroniza o armazenamento e o carregamento dos modelos de compressão, mas também avalia o modelo comprimido para determinar se sua qualidade caiu significativamente ao medir as melhorias de desempenho trazidas pela compressão.
"Nossa estrutura é semelhante à padronização de transformadores e difusores do Face Face, e fornecemos uma maneira unificada de chamar e usar vários métodos de eficiência", disse John Rachwan, co-fundador e diretor de tecnologia da Pruna AI. Grandes empresas como o OpenAI aplicaram vários métodos de compressão em seus modelos, como o uso da destilação para criar versões mais rápidas de seus principais modelos.
A destilação é uma tecnologia que extrai conhecimento através do modelo "professor-aluno", onde os desenvolvedores enviam solicitações ao modelo de professor e gravações. Esses resultados são usados para treinar o modelo de aluno para aproximar o comportamento do modelo de professores. Lahwan observa que, embora muitas grandes empresas tendem a criar ferramentas de compactação, na comunidade de código aberto, as soluções baseadas em um único método são frequentemente encontradas apenas, e a Pruna AI fornece uma ferramenta que integra vários métodos, simplificando bastante o processo de uso.
Atualmente, a estrutura de Pruna AI suporta uma variedade de modelos, incluindo grandes modelos de idiomas, modelos de difusão, modelos de reconhecimento de fala e modelos de visão computacional. Mas a empresa está atualmente focada na otimização dos modelos de geração de imagens e vídeos. Empresas como Cenário e Photorom já usaram os serviços da Pruna AI.
Além da versão de código aberto, a PRUNA AI também lançou uma versão corporativa que inclui recursos avançados de otimização e um agente de otimização. "O recurso mais emocionante que estamos prestes a lançar é o agente de compressão, onde os usuários precisam apenas fornecer o modelo e definir os requisitos de velocidade e precisão, e o agente encontrará automaticamente a melhor combinação de compressão".
Pruna AI cobra uma taxa horária, semelhante à maneira como os usuários alugam GPUs em serviços em nuvem. Ao usar modelos otimizados, as empresas podem economizar muito dinheiro ao raciocinar. Por exemplo, a PRUNA AI reduziu com sucesso o tamanho de um modelo de lhama em oito vezes, com pouca perda de precisão. A empresa espera que os clientes possam visualizar sua estrutura de compressão como um investimento que finalmente obtém retornos.
Recentemente, a PRUNA AI concluiu um financiamento de sementes de US $ 6,5 milhões, com investidores como EQT Ventures, Daphni, Motier Ventures e Kima Ventures.
Projeto: https://github.com/prunaai/pruna
Pontos -chave:
A PRUNA AI lança uma estrutura de otimização de código aberto que combina vários métodos de compressão para melhorar o desempenho dos modelos de IA.
As grandes empresas costumam usar a destilação e outras tecnologias, e a Pruna AI fornece ferramentas que integram vários métodos para simplificar o processo de uso.
A Enterprise Edition suporta recursos avançados para ajudar os usuários a alcançar melhorias de compactação e desempenho, mantendo a precisão.