หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

วิศวกรรมการเรียนรู้ของเครื่องจักรเปิดหนังสือ

นี่คือคอลเลกชันแบบเปิดของวิธีการเครื่องมือและคำแนะนำทีละขั้นตอนเพื่อช่วยในการฝึกอบรมที่ประสบความสำเร็จของแบบจำลองภาษาขนาดใหญ่และแบบจำลองหลายรูปแบบและการอนุมานของพวกเขา

นี่คือวัสดุทางเทคนิคที่เหมาะสำหรับวิศวกรฝึกอบรมและผู้ประกอบการ LLM/VLM นั่นคือเนื้อหาที่นี่มีสคริปต์จำนวนมากและคำสั่ง Copy-N-Paste เพื่อให้คุณสามารถตอบสนองความต้องการของคุณได้อย่างรวดเร็ว

repo นี้เป็นการถ่ายโอนข้อมูลสมองอย่างต่อเนื่องของประสบการณ์ของฉันในการฝึกอบรมแบบจำลองภาษาขนาดใหญ่ (LLM) (และ VLMs); ความรู้มากมายที่ฉันได้รับในขณะที่ฝึกอบรมโมเดล Open-Source Bloom-176B ในปี 2022 และ IDEFICS-80B แบบหลายโมเดลในปี 2566 และรุ่น RAG ที่บริบทในปี 2567

ฉันรวบรวมข้อมูลนี้เป็นส่วนใหญ่เพื่อตัวเองเพื่อที่ฉันจะได้พบวิธีแก้ปัญหาที่ฉันได้ค้นคว้ามาแล้วในอดีตและได้ผล แต่ตามปกติฉันยินดีที่จะแบ่งปันบันทึกเหล่านี้กับชุมชน ML ที่กว้างขึ้น

สารบัญ

ตอนที่ 1. ข้อมูลเชิงลึก

  1. AI Battlefield Engineering - สิ่งที่คุณต้องรู้เพื่อที่จะประสบความสำเร็จ

ตอนที่ 2. ฮาร์ดแวร์

  1. คำนวณ - ตัวเร่งความเร็วซีพียูหน่วยความจำ CPU

  2. ที่เก็บข้อมูล - ระบบไฟล์ท้องถิ่นกระจายและแชร์

  3. เครือข่าย - เครือข่ายภายในและอินเตอร์โหนด

ส่วนที่ 3

  1. Slurm - สภาพแวดล้อมการประสานหลัก

ตอนที่ 4. การฝึกอบรม

  1. การฝึกอบรม - ไกด์ที่เกี่ยวข้องกับการฝึกอบรมแบบจำลอง

ส่วนที่ 5 การอนุมาน

  1. การอนุมาน - ข้อมูลเชิงลึกการอนุมานแบบจำลอง

ตอนที่ 6. การพัฒนา

  1. การดีบักและการแก้ไขปัญหา - วิธีการดีบักปัญหาง่ายและยาก

  2. และการดีบักอื่น ๆ

  3. การทดสอบ - เคล็ดลับและเครื่องมือมากมายในการสร้างการเขียนแบบทดสอบที่สนุกสนาน

ตอนที่ 7. เบ็ดเตล็ด

  1. ทรัพยากร - LLM/VLM Chronicles

การอัปเดต

ฉันประกาศการอัปเดตที่สำคัญใด ๆ ในช่อง Twitter ของฉัน https://twitter.com/stasbekman

เวอร์ชัน PDF

ดาวน์โหลดหนังสือ PDF เวอร์ชัน

ฉันจะพยายามสร้างใหม่สัปดาห์ละครั้งหรือมากกว่านั้น แต่ถ้าคุณต้องการล่าสุดคำแนะนำสำหรับการสร้างอยู่ที่นี่

ขอบคุณ HuggingFace ที่อนุญาตให้ฉันเป็นเจ้าภาพ PDF ของหนังสือของฉันที่ HF Hub

การอภิปราย

หากคุณต้องการหารือเกี่ยวกับสิ่งที่เกี่ยวข้องกับ ML Engineering repo นี้มีการอภิปรายของชุมชน - ดังนั้นโปรดอย่าลังเลที่จะแบ่งปันประสบการณ์ของคุณหรือเริ่มการสนทนาใหม่เกี่ยวกับสิ่งที่คุณหลงใหล

ตารางเปรียบเทียบที่สำคัญ

ตัวเร่งความเร็วระดับไฮเอนด์:

  • TFLOPS แบบเร่งรัดทางทฤษฎี
  • ขนาดและความเร็วหน่วยความจำเร่งความเร็ว

เครือข่าย:

  • ความเร็วระหว่างโหนดทางทฤษฎี
  • ความเร็วภายในโหนดทางทฤษฎี

ทางลัด

สิ่งที่คุณมีแนวโน้มที่จะต้องค้นหาอย่างรวดเร็วและบ่อยครั้ง

เครื่องมือ:

  • all_reduce_bench.py ​​- วิธีที่ง่ายกว่าในการเปรียบเทียบข้อมูลเครือข่ายมากกว่าการทดสอบ NCCL
  • Torch-Distributed-gpu-test.py-เครื่องมือในการทดสอบการเชื่อมต่อระหว่างโหนดของคุณอย่างรวดเร็ว

คำแนะนำ:

  • การดีบักแอปพลิเคชัน Pytorch-โซลูชันการคัดลอก N-Paste อย่างรวดเร็วเพื่อแก้ไขการแขวนหรือทำลายแอปพลิเคชัน pytorch
  • slurm สำหรับผู้ใช้ - slurm cheatsheet และเทคนิค
  • สร้างรุ่นเล็ก/ชุดข้อมูล/tokenizers
  • คอลเลกชัน LLM/VLM Chronicles

ความกตัญญู

สิ่งนี้จะไม่เป็นไปได้หากฉันได้รับความไว้วางใจจากการฝึกอบรม LLM/VLM ที่เฉพาะเจาะจงฉันได้เรียนรู้ความรู้เบื้องต้นจาก นี่เป็นสิทธิพิเศษที่มีเพียงไม่กี่คนเท่านั้นที่ได้รับความสุขเนื่องจากค่าใช้จ่ายในการเช่ากลุ่ม ML ขนาดใหญ่ที่มีราคาแพง ดังนั้นหวังว่าส่วนที่เหลือของชุมชน ML จะเรียนรู้จากบันทึกเหล่านี้

ขอขอบคุณเป็นพิเศษไปที่ Thom Wolf ที่เสนอว่าฉันเป็นผู้นำการฝึกอบรม Bloom-176B กลับมาเมื่อฉันไม่รู้อะไรเกี่ยวกับการฝึกอบรมขนาดใหญ่ นี่คือโครงการที่ทำให้ฉันเข้าสู่กระบวนการเรียนรู้ที่เข้มข้น และแน่นอนว่า HuggingFace เพื่อให้โอกาสฉันได้ทำงานเต็มเวลาใน Bloom-176B และต่อมาในการฝึกอบรม IDEFICS-80B

เมื่อเร็ว ๆ นี้ฉันยังคงขยายความรู้และประสบการณ์ของฉันในขณะที่การฝึกอบรมรูปแบบและการสร้างระบบการฝึกอบรม/การอนุมานที่ปรับขนาดได้ที่ Contementual.ai และฉันรู้สึกขอบคุณโอกาสที่จะได้รับ Aman และ Douwe

ฉันอยากจะบอกว่าต้องขอบคุณผู้มีส่วนร่วมจำนวนมากที่ทำให้ข้อความนี้ยอดเยี่ยมและปราศจากข้อผิดพลาด

การบริจาค

หากคุณพบข้อผิดพลาดพิมพ์ผิดหรือต้องการเสนอการปรับปรุงโปรดอย่าลังเลที่จะเปิดปัญหาหรือมีส่วนร่วมในการประชาสัมพันธ์

ใบอนุญาต

เนื้อหาของไซต์นี้มีการกระจายภายใต้แหล่งอ้างอิงที่มาจากการระบุแหล่งที่มา 4.0

การอ้างอิง 

 @misc { bekman2024mlengineering ,
  author = { Bekman, Stas } ,
  title = { Machine Learning Engineering Open Book } ,
  year = { 2023-2024 } ,
  publisher = { Stasosphere Online Inc. } ,
  journal = { GitHub repository } ,
  url = { https://github.com/stas00/ml-engineering }
}

แผนที่ที่เก็บของฉัน

✔ การเรียนรู้ของเครื่อง: ML Engineering Open Book | ML Ways | การพอร์ต

✔ มัคคุเทศก์: ศิลปะการดีบัก

✔ แอปพลิเคชัน: ipyexperiments

✔ เครื่องมือและ Cheatsheets: Bash | Conda | Git | JUPYTER-NOTEBOOK | ทำให้ | Python Tensorboard | Unix

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด