A AI21Labs lançou recentemente seu mais recente modelo de idioma de linguagem Jamba 1.6, conhecido como o modelo de processamento de texto longo mais poderoso e eficiente do mercado. Comparado com o modelo tradicional do transformador, o modelo Jamba exibe maior velocidade e qualidade ao lidar com contextos longos, e sua velocidade de inferência é 2,5 vezes mais rápida que os modelos semelhantes, marcando um novo avanço tecnológico.
A série Jamba 1.6 inclui Jamba Mini (1,2 bilhão de parâmetros) e Jamba Large (9,4 bilhões de parâmetros) e é otimizado para aplicações comerciais, com chamadas de função, saídas estruturadas (como JSON) e recursos de geração baseados em realidade. Esses modelos têm uma ampla gama de aplicações, desde assistentes inteligentes em nível corporativo até pesquisas acadêmicas e podem desempenhar um papel importante.
Este modelo adota um contrato de licença de código aberto chamado Jamba Open Model License, permitindo que os usuários conduzam pesquisa e uso comercial sob a premissa de seguir os termos relevantes. Além disso, a série Jamba1.6 tem um prazo de conhecimento de 5 de março de 2024 e apóia vários idiomas, incluindo inglês, espanhol, francês, português, italiano, holandês, alemão, árabe e hebraico, garantindo que se adapte às necessidades dos usuários em todo o mundo.
Em termos de avaliação de desempenho, o Jamba Grande 1.6 teve um bom desempenho em vários benchmarks. Em testes padrão como Arena Hard, Crag e Financebench, suas pontuações superaram seus concorrentes, mostrando suas excelentes recursos de compreensão e geração de linguagem. O modelo Jamba é particularmente proeminente ao lidar com textos longos.
Para garantir uma inferência eficiente, os usuários que usam modelos Jamba precisam instalar as bibliotecas Python relevantes primeiro e os dispositivos CUDA são necessários para apoiar a operação do modelo. Os usuários podem executar o modelo através da estrutura VLLM ou Transformers. Com o apoio de GPUs em larga escala, o Jamba Grande 1.6 pode lidar com contextos de até 256k, o que não foi possível em modelos anteriores.
Modelo: https://huggingface.co/ai21labs/ai21-jamba-large-1.6
Pontos -chave:
O modelo Jamba1.6 é mais rápido e mais qualidade para processamento de texto longo e suporta vários idiomas.
O contrato de licença de código aberto permite pesquisa e uso comercial e facilita o compartilhamento de tecnologia.
Superou produtos concorrentes em vários benchmarks.