ในการเปิดตัวเมื่อเร็ว ๆ นี้ Sundar Pichai ซีอีโอของ Google ประกาศการพัฒนาครั้งใหญ่: Google เปิดตัว GEMMA-3 MOCKUP MOCKUP MOCKUP ล่าสุด ด้วยต้นทุนที่ต่ำและประสิทธิภาพสูงรุ่นนี้กลายเป็นจุดสนใจของอุตสาหกรรมเทคโนโลยีอย่างรวดเร็ว การเปิดตัว Gemma-3 เป็นอีกหนึ่งความคืบหน้าที่สำคัญของ Google ในด้านปัญญาประดิษฐ์โดยเฉพาะอย่างยิ่งในการประมวลผลแบบหลายรูปแบบและการประมวลผลบริบทที่ยาวนาน
Gemma-3 มีสี่ตัวเลือกสำหรับเครื่องชั่งพารามิเตอร์ที่แตกต่างกันคือ 1 พันล้าน, 4 พันล้าน, 12 พันล้านพารามิเตอร์และ 27 พันล้านพารามิเตอร์ ในหมู่พวกเขาโมเดลที่มีพารามิเตอร์ 27 พันล้านพารามิเตอร์ต้องใช้การ์ดกราฟิก H100 หนึ่งใบเพื่อให้การอนุมานอย่างมีประสิทธิภาพและความต้องการพลังงานคอมพิวเตอร์นี้เป็นเพียงหนึ่งในสิบของรุ่นที่คล้ายกัน การพัฒนานี้ทำให้ Gemma-3 เป็นหนึ่งในโมเดลประสิทธิภาพสูงที่มีความต้องการพลังงานในการคำนวณต่ำสุดลดเกณฑ์การใช้งานอย่างมาก
จากข้อมูลการทดสอบล่าสุด GEMMA-3 ทำงานได้ดีมากในรูปแบบการสนทนาที่หลากหลายรองจากรุ่น Deepseek ที่รู้จักกันดีซึ่งมีมากกว่ารุ่นยอดนิยมของ OpenAI เช่น O3-MINI และ LLAMA3 สถาปัตยกรรม Gemma-3 ยังคงออกแบบหม้อแปลงถอดรหัสอเนกประสงค์จากสองรุ่นก่อนหน้า แต่ได้ดำเนินการนวัตกรรมและการปรับให้เหมาะสมหลายครั้งบนพื้นฐานนี้ เพื่อแก้ปัญหาหน่วยความจำที่เกิดจากบริบทที่ยาวนาน Gemma-3 ใช้สถาปัตยกรรมของเลเยอร์การดูแลตนเองในระดับท้องถิ่นและระดับโลกซึ่งจะช่วยลดการใช้หน่วยความจำอย่างมีนัยสำคัญ
ในแง่ของความสามารถในการประมวลผลบริบทความยาวบริบทที่รองรับโดย GEMMA-3 จะขยายไปถึง 128Ktoken ให้การสนับสนุนที่ดีขึ้นสำหรับการประมวลผลข้อความยาว นอกจากนี้ Gemma-3 ยังมีความสามารถหลายอย่างสามารถประมวลผลข้อความและรูปภาพในเวลาเดียวกันและรวมตัวเข้ารหัสวิสัยทัศน์ที่ใช้ VisionTransformer ซึ่งช่วยลดต้นทุนการคำนวณของการประมวลผลภาพได้อย่างมีประสิทธิภาพ คุณสมบัติเหล่านี้ทำให้ Gemma-3 ทำงานได้ดีในงานที่ซับซ้อน
ในระหว่างกระบวนการฝึกอบรม Gemma-3 ใช้งบประมาณโทเค็นมากขึ้นโดยเฉพาะอย่างยิ่งปริมาณโทเค็น 14T ในรูปแบบพารามิเตอร์ 27 พันล้านและแนะนำข้อมูลหลายภาษาเพื่อเพิ่มขีดความสามารถในการประมวลผลภาษาของโมเดล Gemma-3 รองรับ 140 ภาษาซึ่ง 35 สามารถใช้โดยตรง ด้วยเทคโนโลยีการกลั่นความรู้ขั้นสูง GEMMA-3 เพิ่มประสิทธิภาพการทำงานของแบบจำลองผ่านการเรียนรู้การเสริมแรงในระยะเวลาการฝึกอบรมโดยเฉพาะอย่างยิ่งในแง่ของความช่วยเหลือความสามารถในการให้เหตุผลและความสามารถในการพูดได้หลายภาษา
หลังจากการประเมินผล Gemma-3 ทำงานได้ดีในงานหลายรูปแบบและความสามารถในการประมวลผลข้อความที่ยาวนานนั้นน่าประทับใจและมีความแม่นยำ 66% นอกจากนี้ประสิทธิภาพของ Gemma-3 ยังเป็นหนึ่งในอันดับต้น ๆ ในการประเมินความสามารถในการสนทนาซึ่งแสดงให้เห็นถึงความแข็งแกร่งที่ครอบคลุมในงานต่างๆ ผลลัพธ์เหล่านี้ทำให้ Gemma-3 เป็นหนึ่งในรุ่นที่ได้รับความนิยมมากที่สุด
ที่อยู่โอเพ่นซอร์สของ Gemma-3 คือ: https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d ความคิดริเริ่มโอเพนซอร์สนี้จะส่งเสริมการพัฒนาเทคโนโลยีปัญญาประดิษฐ์และให้เครื่องมือและทรัพยากรที่ทรงพลังแก่นักวิจัยและนักพัฒนาซอฟต์แวร์
ประเด็นสำคัญ: Gemma-3 เป็นโมเดลหลายรูปแบบโอเพนซอร์สล่าสุดของ Google โดยมีพารามิเตอร์ตั้งแต่ 1 พันล้านถึง 27 พันล้านและความต้องการพลังงานคอมพิวเตอร์ลดลง 10 ครั้ง แบบจำลองใช้การออกแบบสถาปัตยกรรมที่เป็นนวัตกรรมเพื่อประมวลผลบริบทที่ยาวนานและข้อมูลหลายรูปแบบสนับสนุนการประมวลผลข้อความและรูปภาพพร้อมกัน Gemma-3 รองรับความสามารถในการประมวลผลใน 140 ภาษา หลังจากการฝึกอบรมและการเพิ่มประสิทธิภาพมันทำงานได้อย่างยอดเยี่ยมในหลายงานและแสดงให้เห็นถึงความสามารถที่ครอบคลุมที่แข็งแกร่ง