แพลตฟอร์มการเรียนรู้ของเครื่องโอเพนซอร์สโอเพนซอร์ส
สร้างท่อ ML ด้วยงูหลามเท่านั้นวิ่งบนแล็ปท็อปของคุณหรือในคลาวด์
Sematic เป็นแพลตฟอร์มการพัฒนา ML โอเพนซอร์ซ ช่วยให้วิศวกร ML และนักวิทยาศาสตร์ด้านข้อมูลเขียนท่อส่งผ่านแบบ end-to-end ที่ซับซ้อนโดยพลการด้วยงูหลามอย่างง่ายและดำเนินการบนเครื่องในเครื่อง VM คลาวด์หรือบนคลัสเตอร์ Kubernetes เพื่อใช้ทรัพยากรคลาวด์
Sematic ขึ้นอยู่กับการเรียนรู้ที่รวมตัวกันที่ บริษัท รถยนต์ที่ขับเคลื่อนด้วยตนเอง มันช่วยให้งานการประมวลผลข้อมูลการผูกมัด (เช่น Apache Spark) พร้อมการฝึกอบรมแบบจำลอง (เช่น pytorch, tensorflow) หรือตรรกะธุรกิจ Python อื่น ๆ โดยพลการลงไปในระบบที่ปลอดภัย, ตรวจสอบย้อนกลับ, ทำซ้ำได้
อ่านเอกสารของเราและเข้าร่วมช่อง Discord ของเรา
ทำไม sematic
- Easy Onboarding - ไม่จำเป็นต้องใช้การปรับใช้หรือโครงสร้างพื้นฐานในการเริ่มต้นเพียงติดตั้ง sematic ในพื้นที่และเริ่มสำรวจ
- ความเท่าเทียมกันในท้องถิ่น -ใช้รหัสเดียวกันบนแล็ปท็อปในพื้นที่ของคุณและบนคลัสเตอร์ Kubernetes ของคุณ
- การตรวจสอบย้อนกลับแบบ end-to-end- สิ่งประดิษฐ์ท่อทั้งหมดยังคงมีอยู่ติดตามติดตามและมองเห็นได้ในเว็บบอร์ด
- การเข้าถึงการคำนวณที่แตกต่างกัน - ปรับแต่งทรัพยากรที่จำเป็นสำหรับแต่ละขั้นตอนไปป์ไลน์เพื่อเพิ่มประสิทธิภาพประสิทธิภาพและรอยเท้าเมฆของคุณ (ซีพียู, หน่วยความจำ, GPU, สปาร์กคลัสเตอร์ ฯลฯ )
- การทำซ้ำ - เรียกใช้ท่อของคุณอีกครั้งจาก UI ด้วยการรับประกันการทำซ้ำของผลลัพธ์
เริ่มต้นใช้งาน
ในการเริ่มต้นใช้งานในพื้นที่เพียงติดตั้ง sematic ในสภาพแวดล้อม Python ของคุณ:
เริ่มต้นเว็บบอร์ดท้องถิ่น:
รันตัวอย่างไปป์ไลน์:
$ sematic run examples/mnist/pytorch
สร้างโครงการ Boilerplate ใหม่:
$ sematic new my_new_project
หรือจากตัวอย่างที่มีอยู่:
$ sematic new my_new_project --from examples/mnist/pytorch
จากนั้นเรียกใช้ด้วย:
$ python3 -m my_new_project
ในการปรับใช้ sematic เป็น kubernetes และใช้ประโยชน์จากทรัพยากรคลาวด์ดูเอกสารของเรา
คุณสมบัติ
- Lightweight Python SDK- กำหนดท่อส่งข้อมูลแบบ end-to-end ที่ซับซ้อนโดยพลการ
- การทำรังไปป์ไลน์ - ทำรังท่อลงในท่อขนาดใหญ่โดยพลการ
- กราฟไดนามิก -กราฟที่กำหนดงู
- การติดตามสายเลือด - อินพุตและเอาต์พุตทั้งหมดของทุกขั้นตอนจะคงอยู่และติดตาม
- การตรวจสอบประเภทรันไทม์ -ล้มเหลวเร็วด้วยการตรวจสอบประเภทรันไทม์
- Web Dashboard - ตรวจสอบติดตามและแสดงภาพท่อในเว็บ UI ที่ทันสมัย
- การสร้างภาพข้อมูล Artifact - แสดงภาพอินพุตและเอาต์พุตทั้งหมดของทุกขั้นตอนใน Web Dashboard
- การดำเนินการในท้องถิ่น - เรียกใช้ท่อส่งบนเครื่องในเครื่องของคุณโดยไม่จำเป็นต้องมีการปรับใช้ใด ๆ
- คลาวด์ออร์เคสตร้า - เรียกใช้ท่อบน Kubernetes เพื่อเข้าถึง GPU และทรัพยากรคลาวด์อื่น ๆ
- ทรัพยากรการคำนวณที่แตกต่างกัน - ใช้ขั้นตอนต่าง ๆ บนเครื่องจักรที่แตกต่างกัน (เช่นซีพียู, หน่วยความจำ, GPU, Spark, ฯลฯ )
- การปรับใช้แผนภูมิ Helm - ติดตั้ง sematic บนคลัสเตอร์ Kubernetes ของคุณ
- Pipeline Reruns - RERUN PIPELINES จาก UI จากจุดตามอำเภอใจในกราฟ
- การแคชขั้นตอน - แคชขั้นตอนท่อราคาแพงสำหรับการวนซ้ำที่เร็วขึ้น
- ขั้นตอนลองอีกครั้ง - กู้คืนจากความล้มเหลวชั่วคราวด้วยการลองกลับขั้นตอน
- ข้อมูลเมตาและการทำงานร่วมกัน - แท็ก, การสร้างภาพซอร์สโค้ด, เอกสาร, บันทึกย่อ, ฯลฯ
- การบูรณาการมากมาย - ดูด้านล่าง
การรวมกัน
- Apache Spark- กลุ่มประกายไฟในคลัสเตอร์ตามความต้องการ
- เรย์ -ทรัพยากรเรย์ในกลุ่มตามความต้องการ
- Snowflake - สอบถามคลังข้อมูลของคุณได้อย่างง่ายดาย (คลังสินค้าอื่น ๆ ที่รองรับด้วย)
- พล็อต Matplotlib - แสดงภาพสิ่งประดิษฐ์พล็อตใน Web Dashboard
- Pandas - แสดงภาพสิ่งประดิษฐ์ DataFrame ในแผงควบคุม
- Grafana - ฝังแผง Grafana ใน Web Dashboard
- Bazel - รวมเข้ากับระบบ Bazel Build ของคุณ
- แผนภูมิ Helm - นำไปใช้กับ Kubernetes ด้วยแผนภูมิ Helm ของเรา
- Git - ติดตามข้อมูล GIT ใน Web Dashboard
ชุมชนและทรัพยากร
เรียนรู้เพิ่มเติมเกี่ยวกับ Sematic และติดต่อกับแหล่งข้อมูลต่อไปนี้:
- หน้า Landing Sematic
- เอกสาร
- ช่อง Discord
- ช่อง YouTube
- บล็อกของเรา
มีส่วนช่วย!
หากต้องการมีส่วนร่วมใน sematic ลองดูปัญหาเปิดที่ติดแท็ก "ปัญหาแรกที่ดี" และติดต่อกับเราใน Discord คุณสามารถค้นหาคำแนะนำเกี่ยวกับวิธีการตั้งค่าสภาพแวดล้อมการพัฒนาของคุณในเอกสารนักพัฒนาของเรา หากคุณต้องการเพิ่มตัวอย่างคุณอาจพบว่าคู่มือนี้มีประโยชน์
