Deepseek เปิดตัวผลิตภัณฑ์หลักในวันที่สองของ Open Source Week - Deepep ซึ่งเป็นห้องสมุดการสื่อสาร EP โอเพนซอร์สแห่งแรกสำหรับรุ่น Hybrid Expert (MOE) ห้องสมุดมุ่งเน้นไปที่การปรับให้เหมาะสมกับการเพิ่มประสิทธิภาพแบบเต็มรูปแบบของโมเดลผู้เชี่ยวชาญไฮบริดในการฝึกอบรมและการอนุมานทำให้นักพัฒนามีโซลูชันที่มีประสิทธิภาพและยืดหยุ่น
Deepep เป็นไลบรารีการสื่อสารประสิทธิภาพสูงที่ออกแบบมาสำหรับโมเดลผู้เชี่ยวชาญไฮบริด (MOE) และผู้เชี่ยวชาญขนาน (EP) เป้าหมายหลักของมันคือการเพิ่มประสิทธิภาพประสิทธิภาพของการจัดตารางเวลา MOE และการรวมกันโดยการจัดหาแกน GPU แบบหลายต่อหลายแกนที่มีปริมาณงานสูงและเวลาแฝงต่ำ การออกแบบนี้ทำให้ Deepep ทำงานได้ดีเมื่อจัดการกับโมเดลขนาดใหญ่โดยเฉพาะอย่างยิ่งในสถานการณ์ที่จำเป็นต้องมีการสื่อสารที่มีประสิทธิภาพ
Deepep ไม่เพียง แต่รองรับการดำเนินงานที่มีความแม่นยำต่ำเช่น FP8 แต่ยังตรงกับอัลกอริทึมการ จำกัด การ gating ของกลุ่มที่เสนอในกระดาษ Deepseek-V3 DEEPEP ปรับปรุงประสิทธิภาพการส่งข้อมูลอย่างมีนัยสำคัญโดยการเพิ่มประสิทธิภาพเมล็ดสำหรับการส่งต่อแบนด์วิดท์ของโดเมนอสมมาตรเช่นการส่งต่อข้อมูลจากโดเมน NVLink ไปยังโดเมน RDMA แกนเหล่านี้ทำงานได้ดีในการฝึกอบรมและการอนุมานล่วงหน้าและมีการควบคุมที่ยืดหยุ่นมากกว่าจำนวนโปรเซสเซอร์สตรีมเพื่อปรับปรุงความสามารถในการปรับขนาดของระบบต่อไป
สำหรับงานการเข้ารหัสที่ไวต่อเวลาแฝง Deepep จัดเตรียมชุดเมล็ดพันธุ์ที่มีความหน่วงต่ำซึ่งลดเวลาแฝงโดยใช้เทคโนโลยี RDMA บริสุทธิ์ นอกจากนี้ Deepep ยังแนะนำวิธีการทับซ้อนของการสื่อสารด้วยตะขอซึ่งช่วยปรับปรุงประสิทธิภาพโดยรวมของระบบโดยไม่ต้องใช้ทรัพยากรโปรเซสเซอร์สตรีม
ในการทดสอบประสิทธิภาพ Deepep ได้ทำการทดสอบหลายครั้งในการ์ดเครือข่าย RDMA H800 และ CX7 Infiniband 400GB/s ผลการทดสอบแสดงให้เห็นว่าเมล็ดปกติทำงานได้อย่างยอดเยี่ยมในแบนด์วิดท์ภายในและข้ามโหนดในขณะที่เมล็ดพันธุ์ต่ำต่ำบรรลุผลลัพธ์ที่คาดหวังทั้งในเวลาแฝงและแบนด์วิดท์ โดยเฉพาะอย่างยิ่งแกนความล่าช้าต่ำมีเวลาแฝงเพียง 163 ไมโครวินาทีและแบนด์วิดท์สูงถึง 46GB/s เมื่อประมวลผลผู้เชี่ยวชาญ 8 คน
Deepep ได้รับการทดสอบอย่างดีและเข้ากันได้กับเครือข่าย Infiniband เป็นหลัก แต่ก็ยังรองรับการทำงานบน Ethernet (ROCE) ในทางทฤษฎี เพื่อให้แน่ใจว่าประเภทการรับส่งข้อมูลที่แตกต่างกันจะไม่รบกวนกันและกันขอแนะนำให้แยกการรับส่งข้อมูลในช่องเสมือนจริงที่แตกต่างกันเพื่อให้แน่ใจว่าการทำงานของเมล็ดพันธุ์ปกติและความล่าช้าต่ำ
ในฐานะที่เป็นไลบรารีการสื่อสารที่มีประสิทธิภาพที่ออกแบบมาสำหรับรุ่นผู้เชี่ยวชาญไฮบริด Deepep เก่งในการเพิ่มประสิทธิภาพประสิทธิภาพลดเวลาแฝงและการกำหนดค่าที่ยืดหยุ่น ไม่ว่าจะเป็นการฝึกอบรมแบบจำลองขนาดใหญ่หรืองานการอนุมานที่ไวต่อเวลาแฝง Deepep ให้บริการโซลูชั่นที่ยอดเยี่ยม
ทางเข้าโครงการ: https://x.com/deepseek_ai/status/1894211757604049133
ประเด็นสำคัญ:
ออกแบบมาสำหรับรุ่นผู้เชี่ยวชาญไฮบริด Deepep ให้ปริมาณงานสูงและโซลูชั่นการสื่อสารเวลาแฝงต่ำ
รองรับการดำเนินการที่มีความแม่นยำต่ำที่หลากหลายและเพิ่มประสิทธิภาพประสิทธิภาพแบนด์วิดท์ของการส่งต่อข้อมูล
หลังจากการทดสอบและการตรวจสอบ DEEPEP เข้ากันได้กับเครือข่าย Infiniband และเหมาะสำหรับการแยกและการจัดการการรับส่งข้อมูลที่แตกต่างกัน