AI21Labs 近日發布了其最新的Jamba1.6系列大型語言模型，這款模型被稱為當前市場上最強大、最高效的長文本處理模型。與傳統的Transformer 模型相比，Jamba 模型在處理長上下文時展現出了更高的速度和質量，其推理速度比同類模型快了2.5倍，標誌著一種新的技術突破。
Jamba1.6系列包括Jamba Mini（12億參數）和Jamba Large(94億參數)，並且專門針對商業應用進行了優化，具備函數調用、結構化輸出(如JSON)和基於現實的生成能力。這些模型的應用範圍廣泛，從企業級的智能助手到學術研究，均能發揮重要作用。
這款模型採用了名為Jamba Open Model License 的開源許可協議，允許用戶在遵循相關條款的前提下進行研究和商業使用。此外，Jamba1.6系列的知識截止日期為2024年3月5日，支持多種語言，包括英語、西班牙語、法語、葡萄牙語、意大利語、荷蘭語、德語、阿拉伯語和希伯來語，確保其適應全球用戶的需求。
在性能評測方面，Jamba Large1.6在多個基準測試中均表現優異。在Arena Hard、CRAG 和FinanceBench 等標準測試中，其分數均超過同類競爭對手，顯示出其卓越的語言理解和生成能力。特別是在處理長文本方面，Jamba 模型的表現尤為突出。
為確保高效的推理，使用Jamba 模型的用戶需先安裝相關的Python 庫，並且需要CUDA 設備以支持模型的運行。用戶可以通過vLLM 或transformers 框架來運行該模型。在大規模GPU 的支持下，Jamba Large1.6可以處理長達256K 的上下文，這在之前的模型中是無法實現的。
模型：https://huggingface.co/ai21labs/AI21-Jamba-Large-1.6
劃重點:
Jamba1.6模型在長文本處理上速度更快、質量更高，支持多種語言。
開源許可協議允許研究和商業使用，促進技術共享。
在多項基準測試中表現優異，超越同類競爭產品。