Alibaba Damo Academy เพิ่งเปิดตัวรูปแบบภาษาหลายภาษาที่มีขนาดใหญ่เรียกว่าบาเบลโดยมีวัตถุประสงค์เพื่อทำลายอุปสรรคด้านภาษาโลกและทำให้ปัญญาประดิษฐ์สามารถเข้าใจและสื่อสารโดยใช้ภาษามากกว่า 90% ของประชากรโลก การเคลื่อนไหวที่เป็นนวัตกรรมนี้เป็นขั้นตอนสำคัญในด้านการประมวลผลภาษา
ในปัจจุบันรูปแบบภาษาขนาดใหญ่จำนวนมากมุ่งเน้นไปที่ภาษาที่อุดมไปด้วยทรัพยากรเช่นภาษาอังกฤษฝรั่งเศสและเยอรมันในขณะที่ภาษาที่มีฐานผู้ใช้ขนาดใหญ่เช่นภาษาฮินดีเบงกาลีและภาษาอูรดูมักถูกมองข้าม ปรากฏการณ์นี้คล้ายกับสถานการณ์ที่ผู้ใช้ภาษาขนาดเล็กมักจะถูกลดทอนลงในการประชุมระดับโลก
บาเบลเปิดตัวเพื่อเปลี่ยนสถานการณ์นี้ แบบจำลองสนับสนุนภาษาที่พูดมากที่สุด 25 ภาษาในโลกครอบคลุมมากกว่า 90% ของประชากรโลก ที่สำคัญกว่านั้นบาเบลยังให้ความสนใจเป็นพิเศษกับภาษาสวาฮิลีชวา, พม่าและภาษาอื่น ๆ ที่ไม่ค่อยพบในโอเพ่นซอร์ส LLM การย้ายครั้งนี้จะนำบริการภาษา AI ที่สะดวกและดีขึ้นมาสู่ผู้คนหลายพันล้านคนที่ใช้ภาษาเหล่านี้
Babel ใช้เทคโนโลยีการขยายเลเยอร์ที่ไม่ซ้ำกันเพื่อเพิ่มขีดความสามารถของแบบจำลอง วิธีนี้สามารถเข้าใจได้ว่าเป็นการเพิ่ม "ความรู้สำรอง" ในวิธีที่ซับซ้อนมากขึ้นตามโมเดลดั้งเดิมซึ่งจะช่วยปรับปรุงประสิทธิภาพในขณะที่มั่นใจว่าประสิทธิภาพการคำนวณ ทีมวิจัยได้เปิดตัวสองรุ่นที่โดดเด่น: Babel-9B ซึ่งได้รับการปรับให้เหมาะสมสำหรับการอนุมาน GPU แบบเดี่ยวที่มีประสิทธิภาพและการปรับแต่ง และ Babel-83b ซึ่งเป็น 83 พันล้านพารามิเตอร์ "Big" มุ่งเป้าไปที่การกำหนดเกณฑ์มาตรฐานใหม่สำหรับ LLM หลายภาษาโอเพนซอร์ส
เพื่อตรวจสอบความแข็งแกร่งของบาเบลทีมวิจัยได้ทำการประเมินอย่างเข้มงวดเกี่ยวกับงานหลายภาษาหลายภาษา ผลลัพธ์ที่ได้นั้นน่าตื่นเต้น: ไม่ว่าจะเป็น 9 พันล้านพารามิเตอร์ Babel-9b หรือ 83 พันล้านพารามิเตอร์ Babel-83b มันเหนือกว่ารุ่นโอเพนซอร์สอื่น ๆ ในระดับเดียวกันในหลายเกณฑ์มาตรฐาน ตัวอย่างเช่นบาเบลทำงานได้ดีในงานเช่นความรู้ระดับโลก (MMMLU, M3EXAM), การใช้เหตุผล (MGSM, XCOPA), ความเข้าใจ (XNLI) และการแปล (Flores-200)
โดยเฉพาะอย่างยิ่งคุ้มค่าที่จะกล่าวถึงว่าเมื่อบาเบลเกี่ยวข้องกับภาษาสโคปทรัพยากรอัตราความแม่นยำเพิ่มขึ้น 5% ถึง 10% เมื่อเทียบกับ LLM หลายภาษาก่อนหน้านี้ สิ่งนี้แสดงให้เห็นอย่างเต็มที่ว่าในขณะที่บาเบลปรับปรุงการครอบคลุมภาษา แต่ก็ให้ความสนใจกับประสิทธิภาพของโมเดลในภาษาต่างๆ
สิ่งที่น่าประหลาดใจยิ่งกว่านั้นคือหลังจากการปรับแต่งการปรับแต่ง (SFT) ในชุดข้อมูลการสนทนามากกว่าหนึ่งล้านชุด, Babel-9B-Chat และ Babel-83b-chat เวอร์ชันแชทของ Babel แสดงให้เห็นถึงความสามารถในการสนทนาที่แข็งแกร่ง ตัวอย่างเช่น Babel-83b-Chat สามารถแข่งขันกับ GPT-4O ในงานบางอย่าง สิ่งนี้ไม่ต้องสงสัยเลยว่าการฉีดพลังใหม่เข้าไปในชุมชนโอเพ่นซอร์สพิสูจน์ให้เห็นว่าโมเดลโอเพ่นซอร์สสามารถได้รับตำแหน่งนำในความสามารถในการพูดได้หลายภาษา
โครงการ: https://babel-llm.github.io/babel-llm/
GitHub: https: //github.com/babel-llm/babel-llm