AI21Labs lanzó recientemente su último modelo de lenguaje Jamba 1.6 Series, que se conoce como el modelo de procesamiento de texto largo más potente y eficiente del mercado. En comparación con el modelo de transformador tradicional, el modelo Jamba exhibe una mayor velocidad y calidad al tratar con contextos largos, y su velocidad de inferencia es 2.5 veces más rápida que los modelos similares, marcando un nuevo avance tecnológico.
La serie Jamba 1.6 incluye Jamba Mini (1,2 mil millones de parámetros) y Jamba grande (9,4 mil millones de parámetros), y está optimizado para aplicaciones comerciales, con llamadas de funciones, salidas estructuradas (como JSON) y capacidades de generación basadas en la realidad. Estos modelos tienen una amplia gama de aplicaciones, que van desde asistentes inteligentes de nivel empresarial hasta investigación académica, y pueden desempeñar un papel importante.
Este modelo adopta un acuerdo de licencia de código abierto llamado Licencia de modelo Open Jamba, lo que permite a los usuarios realizar investigaciones y uso comercial bajo la premisa de los siguientes términos relevantes. Además, la serie Jamba1.6 tiene una fecha límite de conocimiento del 5 de marzo de 2024 y apoya múltiples idiomas, incluidos inglés, español, francés, portugués, italiano, holandés, alemán, árabe y hebreo, asegurando que se adapte a las necesidades de los usuarios de todo el mundo.
En términos de evaluación del desempeño, Jamba grande 1.6 funcionó bien en múltiples puntos de referencia. En pruebas estándar como Arena Hard, Crag y FinanceBench, sus puntajes superaron a sus competidores, mostrando su excelente comprensión del lenguaje y capacidades de generación. El modelo Jamba es particularmente prominente en el tratamiento de textos largos.
Para garantizar una inferencia eficiente, los usuarios que usan modelos JAMBA deben instalar primero las bibliotecas de Python relevantes y se requieren dispositivos CUDA para admitir la operación del modelo. Los usuarios pueden ejecutar el modelo a través del marco VLLM o Transformers. Con el apoyo de las GPU a gran escala, Jamba grande 1.6 puede manejar contextos de hasta 256k, lo que no fue posible en modelos anteriores.
Modelo: https://huggingface.co/ai21labs/ai21-jamba-large-1.6
Puntos clave:
El modelo Jamba1.6 es más rápido y más calidad para el procesamiento de texto largo y admite múltiples idiomas.
El acuerdo de licencia de código abierto permite la investigación y el uso comercial y facilita el intercambio de tecnología.
Productos competitivos superados en múltiples puntos de referencia.