sematic

Platform Pembelajaran Mesin Berkelanjutan Sumber Terbuka

Bangun pipa ML dengan hanya ular piton, jalankan di laptop Anda, atau di awan.

Sematic adalah platform pengembangan ML open-source. Ini memungkinkan insinyur ML dan ilmuwan data menulis saluran pipa ujung ke ujung yang rumit dengan ular python sederhana dan menjalankannya di mesin lokal mereka, dalam VM cloud, atau pada cluster Kubernetes untuk memanfaatkan sumber daya cloud.

Sematic didasarkan pada pembelajaran yang dikumpulkan di perusahaan mobil self-driving teratas. Ini memungkinkan pekerjaan pemrosesan data rantai (misalnya Apache Spark) dengan pelatihan model (misalnya Pytorch, TensorFlow), atau logika bisnis Python sewenang-wenang lainnya menjadi pipa-pipa yang dapat dijahit, dapat dilacak, dapat direproduksi yang dapat dipantau dan divisualisasikan dalam dasbor web modern.

Baca dokumentasi kami dan bergabunglah dengan saluran Perselisihan kami.

Mengapa Sematic

• Onboarding Mudah - Tidak ada penyebaran atau infrastruktur yang diperlukan untuk memulai, cukup pasang Sematic secara lokal dan mulailah menjelajahi.
• Paritas lokal-ke-awan -Jalankan kode yang sama di laptop lokal Anda dan pada cluster Kubernetes Anda.
• Keterlacakan end-to-end -Semua artefak pipa bertahan, dilacak, dan dapat divisualisasikan di dasbor web.
• Access Heterogenous Compute - Kustomisasi sumber daya yang diperlukan untuk setiap langkah pipa untuk mengoptimalkan kinerja dan jejak cloud Anda (CPU, memori, GPU, percikan kluster, dll.)
• Reproduksibilitas - Rerun jaringan pipa Anda dari UI dengan reproduktifitas hasil yang dijamin

Memulai

Untuk memulai secara lokal, cukup instal Sematic di lingkungan Python Anda:

$ pip install sematic

Mulai dasbor web lokal:

$ sematic start

Jalankan contoh pipa:

$ sematic run examples/mnist/pytorch

Buat proyek boilerplate baru:

$ sematic new my_new_project

Atau dari contoh yang ada:

$ sematic new my_new_project --from examples/mnist/pytorch

Kemudian jalankan dengan:

$ python3 -m my_new_project

Untuk menggunakan Sematic ke Kubernetes dan memanfaatkan sumber daya cloud, lihat dokumentasi kami.

Fitur

• Python SDK ringan -Tentukan pipa ujung ujung ke ujung yang rumit secara sewenang-wenang
• Pipeline Nesting - Secara sewenang -wenang menyarangkan pipa ke dalam pipa yang lebih besar
• Grafik Dinamis -Grafik yang ditentukan Python memungkinkan untuk iterasi, percabangan bersyarat, dll.
• Pelacakan Lineage - Semua input dan output dari semua langkah bertahan dan dilacak
• Pemeriksaan Jenis Runtime -Gagal Dini dengan Pemeriksaan Jenis Run-Time
• Web Dashboard - Monitor, melacak, dan memvisualisasikan jaringan pipa di UI web modern
• Visualisasi Artefak - Visualisasikan semua input dan output dari semua langkah di dasbor web
• Eksekusi Lokal - Jalankan jaringan pipa pada mesin lokal Anda tanpa ada penyebaran yang diperlukan
• Cloud Orchestration - Jalankan jaringan pipa di Kubernetes untuk mengakses GPU dan sumber daya cloud lainnya
• Sumber Daya Komputasi Heterogen - Jalankan langkah yang berbeda pada mesin yang berbeda (misalnya CPU, memori, GPU, Spark, dll.)
• Helm Chart Deployment - Instal Sematic di kluster Kubernetes Anda
• Pipeline Reruns - Rerun Pipeline dari UI dari titik sewenang -wenang dalam grafik
• Caching Langkah - Cache Langkah Pipa Mahal Untuk Iterasi Lebih Cepat
• Langkah coba lagi - pulih dari kegagalan sementara dengan langkah ulang langkah
• Metadata dan Kolaborasi - Tag, Visualisasi Kode Sumber, Docstring, Catatan, dll.
• Banyak integrasi - lihat di bawah

Integrasi

• Apache Spark -Cluster Spark In-Cluster On-Demand
• Ray -Sumber Daya Ray In-Cluster On-Demand Ray
• Snowflake - Mudah meminta gudang data Anda (gudang lain juga didukung)
• Plotly, Matplotlib - Visualisasikan artefak plot di dasbor web
• PANDAS - Visualisasikan artefak DataFrame di dasbor
• Grafana - Embed Panel Grafana di dasbor web
• Bazel - Integrasi dengan sistem build bazel Anda
• Bagan Helm - Digerikan ke Kubernetes dengan grafik helm kami
• Git - lacak informasi git di dasbor web

Komunitas dan sumber daya

Pelajari lebih lanjut tentang Sematic dan hubungi sumber daya berikut:

• Halaman pendaratan sematik
• Dokumentasi
• Saluran Perselisihan
• Saluran YouTube
• Blog kami

Menyumbang!

Untuk berkontribusi pada Sematic, lihat masalah terbuka yang ditandai "masalah pertama yang baik", dan hubungi kami di perselisihan. Anda dapat menemukan instruksi tentang cara mengatur lingkungan pengembangan Anda di dokumen pengembang kami. Jika Anda ingin menambahkan contoh, Anda juga dapat menemukan panduan ini bermanfaat.