阿里巴巴达摩院近日发布了一款名为Babel的多语言大型语言模型,旨在打破全球语言障碍,使人工智能能够理解并使用全球90%以上人口的语言进行交流。这一创新举措标志着AI技术在语言处理领域迈出了重要一步。
目前,许多大型语言模型主要关注英语、法语、德语等资源丰富的语言,而像印地语、孟加拉语、乌尔都语等拥有庞大用户群体的语言却常常被忽视。这种现象类似于全球会议中,小语种使用者往往被边缘化的情况。
Babel的推出正是为了改变这一现状。该模型支持全球使用人数最多的25种语言,覆盖了超过90%的世界人口。更为重要的是,Babel还特别关注了斯瓦希里语、爪哇语、缅甸语等在开源LLM中鲜有涉猎的语种。这一举措将为数十亿使用这些语言的人们带来更便捷、更优质的AI语言服务。

与传统的持续预训练方法不同,Babel采用了独特的层扩展技术来提升模型的能力。这种方法可以理解为在模型原有的基础上,以一种更精巧的方式增加“知识储备”,从而在提升性能的同时,也保证了计算效率。研究团队推出了两款各具特色的模型:Babel-9B,专为高效的单GPU推理和微调而优化;以及Babel-83B,这款拥有830亿参数的“巨擘”旨在树立开源多语言LLM的新标杆。

为了验证Babel的实力,研究团队在多个多语言任务上进行了严格的评估。结果令人振奋:无论是90亿参数的Babel-9B,还是830亿参数的Babel-83B,在多项基准测试中均超越了同等规模的其他开源模型。例如,Babel在世界知识(MMMLU,M3Exam)、推理(MGSM,XCOPA)、理解(XNLI)和翻译(Flores-200)等任务上均表现出色。
尤其值得一提的是,Babel在处理资源匮乏的语言时,其准确率相较于以往的多语言LLM提升了5%到10%。这充分展示了Babel在提升语言覆盖率的同时,也注重了模型在各种语言上的性能表现。
更令人惊喜的是,通过在超过一百万个对话数据集上进行监督微调(SFT)后,Babel的聊天版本Babel-9B-Chat和Babel-83B-Chat展现出了强大的对话能力,其性能甚至可以媲美一些顶尖的商业AI模型。例如,Babel-83B-Chat在某些任务上已能与GPT-4o一较高下。这无疑为开源社区注入了新的活力,证明了开源模型在多语言能力上同样可以取得领先地位。
项目:https://babel-llm.github.io/babel-llm/
github:https://github.com/babel-llm/babel-llm