AI21LABS a récemment publié son dernier modèle de grande langue de la série Jamba 1.6, connu comme le modèle de traitement de texte long le plus puissant et le plus efficace sur le marché. Par rapport au modèle de transformateur traditionnel, le modèle Jamba présente une vitesse et une qualité plus élevées lorsqu'il s'agit de contextes longs, et sa vitesse d'inférence est 2,5 fois plus rapide que des modèles similaires, marquant une nouvelle percée technologique.
La série Jamba 1.6 comprend Jamba Mini (1,2 milliard de paramètres) et Jamba Large (9,4 milliards de paramètres), et est optimisée pour les applications commerciales, avec des appels de fonction, des sorties structurées (telles que JSON) et des capacités de génération basées sur la réalité. Ces modèles ont un large éventail d'applications, allant des assistants intelligents au niveau de l'entreprise à la recherche universitaire, et peuvent jouer un rôle important.
Ce modèle adopte un contrat de licence open source appelé licence de modèle Open de Jamba, permettant aux utilisateurs de mener des recherches et une utilisation commerciale dans le cadre de la prémisse des conditions pertinentes suivantes. De plus, la série Jamba1.6 a une date limite de connaissance du 5 mars 2024 et prend en charge plusieurs langues, notamment l'anglais, l'espagnol, le français, le portugais, l'italien, le néerlandais, l'allemand, l'arabe et l'hébreu, garantissant qu'il s'adapte aux besoins des utilisateurs du monde.
En termes d'évaluation des performances, Jamba Large 1.6 a bien fonctionné dans plusieurs repères. Dans des tests standard tels que Arena Hard, Crag et Financebench, leurs scores ont dépassé leurs concurrents, montrant leurs capacités exceptionnelles de compréhension du langage et de génération. Le modèle Jamba est particulièrement important dans le traitement des textes longs.
Pour garantir une inférence efficace, les utilisateurs utilisant des modèles Jamba doivent d'abord installer les bibliothèques Python pertinentes et les périphériques CUDA sont nécessaires pour prendre en charge le fonctionnement du modèle. Les utilisateurs peuvent exécuter le modèle via le cadre VLLM ou Transformers. Avec le support des GPU à grande échelle, Jamba Large 1.6 peut gérer des contextes jusqu'à 256k, ce qui n'était pas possible dans les modèles précédents.
Modèle: https://huggingface.co/ai21labs/ai21-jamba-large-1.6
Points clés:
Le modèle JAMBA1.6 est plus rapide et plus de qualité pour le traitement long du texte et prend en charge plusieurs langues.
Le contrat de licence open source permet la recherche et l'utilisation commerciale et facilite le partage des technologies.
A surpassé les produits concurrents dans plusieurs repères.