오픈 소스 연속 머신 러닝 플랫폼
파이썬만으로 ML 파이프 라인을 구축하거나 랩톱 또는 클라우드에서 실행하십시오.
Sematic은 오픈 소스 ML 개발 플랫폼입니다. ML 엔지니어와 데이터 과학자는 간단한 파이썬으로 임의로 복잡한 엔드 투 엔드 파이프 라인을 작성하여 로컬 컴퓨터, 클라우드 VM 또는 Kubernetes 클러스터에서 클라우드 리소스를 활용할 수 있습니다.
Sematic은 최고의 자율 주행 자동차 회사에서 수집 된 학습을 기반으로합니다. 모델 교육 (예 : Pytorch, Tensorflow) 또는 기타 임의의 Python 비즈니스 로직, Type-Safe, Traceable, 재현 가능한 엔드 투 엔드 파이프 라인을 사용하여 데이터 처리 작업 (예 : Apache Spark)을 체인 할 수 있습니다.
문서를 읽고 불화 채널에 가입하십시오.
왜 반마체
- 쉬운 온 보딩 - 시작하는 데 배포 나 인프라가 필요하지 않으며, 반만을 로컬로 설치하고 탐색을 시작하십시오.
- 로컬 투 클라우드 패리티 -로컬 랩탑과 Kubernetes 클러스터에서 동일한 코드를 실행하십시오.
- 엔드 투 엔드 추적 성 -모든 파이프 라인 아티팩트는 웹 대시 보드에서 지속, 추적 및 시각화 할 수 있습니다.
- 액세스 이종 컴퓨팅 - 성능 및 클라우드 풋 프린트 (CPU, 메모리, GPU, 스파크 클러스터 등)를 최적화하기 위해 각 파이프 라인 단계에 필요한 리소스를 사용자 정의하십시오.
- 재현성 - UI에서 파이프 라인을 다시 실행하여 결과의 재현성을 보장합니다.
시작하기
로컬로 시작하려면 파이썬 환경에 Sematic을 설치하십시오.
로컬 웹 대시 보드 시작 :
예제 파이프 라인 실행 :
$ sematic run examples/mnist/pytorch
새로운 보일러 플레이트 프로젝트 만들기 :
$ sematic new my_new_project
또는 기존 예에서 :
$ sematic new my_new_project --from examples/mnist/pytorch
그런 다음 다음과 같이 실행합니다.
$ python3 -m my_new_project
kubernetes에 Sematic을 배치하고 클라우드 리소스를 활용하려면 문서를 참조하십시오.
특징
- 경량 파이썬 SDK- 임의로 복잡한 엔드 투 엔드 파이프 라인을 정의합니다
- 파이프 라인 중첩 - 파이프 라인을 더 큰 파이프 라인으로 임의로 둥지
- 동적 그래프 -파이썬 정의 그래프는 반복, 조건부 분기 등을 허용합니다.
- 계보 추적 - 모든 단계의 모든 입력 및 출력이 지속되고 추적됩니다.
- 런타임 유형 확인 -런타임 유형 확인으로 일찍 실패합니다
- 웹 대시 보드 - 최신 웹 UI에서 파이프 라인을 모니터, 추적 및 시각화
- 아티팩트 시각화 - 웹 대시 보드의 모든 단계의 모든 입력 및 출력 시각화
- 로컬 실행 - 배포없이 로컬 컴퓨터에서 파이프 라인을 실행하십시오.
- 클라우드 오케스트레이션 - Kubernetes에서 파이프 라인을 실행하여 GPU 및 기타 클라우드 리소스에 액세스
- 이기종 컴퓨팅 리소스 - 다른 기계에서 다른 단계를 실행합니다 (예 : CPU, 메모리, GPU, 스파크 등)
- Helm 차트 배포 - Kubernetes 클러스터에 Sematic 설치
- 파이프 라인 재실행 - 그래프의 임의의 지점에서 UI에서 파이프 라인을 다시 실행합니다.
- 스텝 캐싱 - 더 빠른 반복을위한 캐시 비싼 파이프 라인 단계
- 스텝 레트리 - 스텝 리트리로 과도 실패에서 회복
- 메타 데이터 및 협업 - 태그, 소스 코드 시각화, 문서, 메모 등
- 수많은 통합 - 아래를 참조하십시오
통합
- Apache Spark- 주문형 클러스터 내 스파크 클러스터
- 레이 -주문형 광선 클러스터 광선 리소스
- Snowflake - 데이터웨어 하우스 (기타 창고도 지원)를 쉽게 쿼리합니다.
- Plotly, Matplotlib - 웹 대시 보드에서 플롯 아티팩트 시각화
- 팬더 - 대시 보드에서 데이터 프레임 아티팩트를 시각화합니다
- Grafana - 웹 대시 보드에 Grafana 패널을 포함시킵니다
- BAZEL - Bazel 빌드 시스템과 통합하십시오
- Helm 차트 - Helm 차트를 사용하여 Kubernetes에 배포
- git - 웹 대시 보드에서 GIT 정보를 추적합니다
커뮤니티와 자원
Sematic에 대해 자세히 알아보고 다음 리소스와 연락하십시오.
- 반 랜딩 페이지
- 선적 서류 비치
- 불화 채널
- YouTube 채널
- 우리 블로그
기여하다!
Sematic에 기여하려면 "Good First Issue"태그가 지정된 열린 문제를 확인하고 Discord에서 우리와 연락하십시오. 개발자 문서에서 개발 환경을 설정하는 방법에 대한 지침을 찾을 수 있습니다. 예제를 추가하려면이 안내서가 도움이 될 수도 있습니다.
