AI21Labs недавно выпустила свою последнюю большую языковую модель Jamba 1.6, которая известна как самая мощная и эффективная модель длинной текстовой обработки на рынке. По сравнению с традиционной моделью трансформатора, модель Jamba демонстрирует более высокую скорость и качество при работе с длинными контекстами, а скорость ее вывода в 2,5 раза быстрее, чем аналогичные модели, отмечая новый технологический прорыв.
Серия Jamba 1.6 включает Jamba Mini (1,2 миллиарда параметров) и большие джамба (9,4 миллиарда параметров) и оптимизирована для коммерческих приложений, с вызовами функций, структурированными выходами (например, JSON) и возможностями генерации на основе реальности. Эти модели имеют широкий спектр приложений, начиная от интеллектуальных помощников на уровне предприятия до академических исследований и могут играть важную роль.
Эта модель принимает лицензионное соглашение с открытым исходным кодом, называемое лицензией Jamba Open Model, позволяя пользователям проводить исследовательские и коммерческие использование в соответствии с следующими соответствующими условиями. Кроме того, серия Jamba1.6 имеет крайний срок знаний от 5 марта 2024 года и поддерживает множество языков, включая английский, испанский, французский, португальский, итальянский, голландский, немецкий, арабский и иврит, гарантируя, что она адаптируется к потребностям пользователей во всем мире.
С точки зрения оценки производительности, Jamba Light 1.6 хорошо показал несколько тестов. В стандартных тестах, таких как Arena Hard, CRAG и FinanceBench, их оценки превзошли их конкурентов, демонстрируя их выдающееся языковое понимание и возможности поколения. Модель Джамба особенно заметна в работе с длинными текстами.
Чтобы обеспечить эффективный вывод, пользователи, использующие модели Jamba, должны установить соответствующие библиотеки Python в первую очередь, и для поддержки работы модели необходимы устройства CUDA. Пользователи могут запустить модель через структуру VLLM или Transformers. При поддержке крупномасштабных графических процессоров Jamba Light 1.6 может обрабатывать контексты до 256 тыс., Что было невозможно в предыдущих моделях.
Модель: https://huggingface.co/ai21labs/ai21-jamba-large-1.6
Ключевые моменты:
Модель Jamba1.6 более быстрая и более качественная для обработки длинной текста и поддерживает несколько языков.
Лицензионное соглашение с открытым исходным кодом обеспечивает исследование и коммерческое использование и облегчает обмен технологиями.
Превзошел конкурирующие продукты в нескольких тестах.