mlreef 다운로드 mlreef 소스 코드 다운로드

mlreef

파이썬

1.0.0

다운로드

머신 러닝을위한 협업 플랫폼

MLREEF는 오픈 소스 ML-OPS 플랫폼으로, 기계 학습 작업을 수천 명의 다른 사용자와 협력, 재생산 및 공유하는 데 도움이됩니다.

중요 : 우리는 더 이상이 저장소를 지원하고 업데이트하지 않습니다. 우리는 여전히이 프로젝트를 적극적으로 작업하고 있지만 Gitlab의 주요 저장소에서 작업하고 있습니다 .

mlreef

Mlreef는 4 개의 주요 섹션을 포함하는 ML/DL 개발 플랫폼입니다.

데이터 관리 - 완전한 버전의 데이터 호스팅 및 처리 인프라
코드 리포지토리 게시 - 데이터 파이프 라인에서 불변 사용을위한 컨테이너화 및 버전 스크립트 리포지토리
실험 관리자 - 실험 추적, 환경 및 결과
ML-OPS- ML / DL 작업을위한 파이프 라인 및 오케스트레이션 솔루션 (K8S / Cloud / Bare-Metal)

가입하고 몇 분 안에 실험을 시작하십시오.

mlreef가 기계 학습 개발 라이프 사이클을 간소화 할 수있는 방법에 대한 자세한 내용을 보려면 홈페이지를 방문하십시오.

데이터 관리

GIT / GIT LFS 리포지토리를 사용하여 데이터를 호스팅하십시오.
- 데이터에서 동시에 작업합니다
- 완전 버전 또는 LFS 버전 제어
- 데이터 처리 및 시각화 기록에 대한 전체보기
외부 스토리지를 MLreef에 연결하고 파이프 라인에서 직접 데이터를 사용하십시오.
데이터 세트 관리 (액세스, 기록, 파이프 라인)

게시 코드

Argparse를 통해 매개 변수 추가 ...

 # Example params for a ResNet50 script
def process_arguments ( args ):
    parser = argparse . ArgumentParser ( description = 'ResNet50' )
    parser . add_argument ( '--input-path' , action = 'store' , help = 'path to directory of images' )
    parser . add_argument ( '--output-path' , action = 'store' , default = '.' , help = 'path to output metrics' )
    parser . add_argument ( '--height' , action = 'store' , default = 224 , help = 'height of images (int)' )
    parser . add_argument ( '--width' , action = 'store' , default = 224 , help = 'width of images (int)' )
    parser . add_argument ( '--channels' , action = 'store' , default = 3 , help = 'channels of images: 1 = grayscale, 3 = RGB ,'
                                                                      '4=RGBA (int)' )
    parser . add_argument ( '--use-pretrained' , action = 'store' , default = True , help = 'use pretrained ResNet50 weights (bool)' )
    parser . add_argument ( '--epochs' , action = 'store' , default = 5 , help = 'number of epochs for training' )
    parser . add_argument ( '--batch-size' , action = 'store' , default = 32 , help = 'batch size fed to the neural network (int)' )
    parser . add_argument ( '--validation-split' , action = 'store' , default = .25 , help = 'fraction of images to be used for '
                                                                                'validation (float)' )
    parser . add_argument ( '--class-mode' , action = 'store' , default = 'binary' , help = '"categorical", "binary", "sparse",'
                                                                                    ' "input", or None' )
    parser . add_argument ( '--learning-rate' , action = 'store' , default = 0.0001 ,
                        help = 'learning rate of Adam Optimizer (float)'
                             '' )
    parser . add_argument ( '--loss' , action = 'store' , default = 'sparse_categorical_crossentropy' , help = 'loss function used to'
                                                                                           ' compile model' )
    params = vars ( parser . parse_args ( args ))
    return params

... 그리고 스크립트를 게시하면 다음과 같은 점이 있습니다.

스크립트의 컨테이너화
- 파이프 라인에서 쉽게 하이퍼 파라미터 액세스를 포함한 항상 작업 스크립트
- 실행 환경 (특정 패키지 및 버전 포함)
- 하이퍼 파라미터
  - 현재 사용되는 값이있는 명령 줄 매개 변수에 대한 ArgParser
  - 명시 적 매개 변수 사전
  - 입력 유효성 검사 및 가이드
버전 및 코드 브랜치를 기반으로 여러 컨테이너

실험 관리자

완전한 실험 설정 로그
- 커밋되지 않은 로컬 변경을 포함한 전체 소스 제어 정보
- 실행 환경 (특정 패키지 및 버전 포함)
- 하이퍼 파라미터
전체 실험 출력 자동 캡처
- 아티팩트 스토리지 및 표준 출력 로그
- 모든 실험에 대한 개별 실험 및 비교 그래프에 대한 성능 메트릭
- 생성 된 로그 및 출력에 대한 자세한보기
광범위한 플랫폼 지원 및 통합
- 모든 Python 기반 ML/DL 프레임 워크 지원 : 예 : Pytorch, Tensorflow, Keras 또는 Scikit-Learn

ML-OPS

동시 컴퓨팅 파이프 라인
거버넌스 및 통제
- 액세스 및 사용자 관리
- 단일 권한 관리
- 자원 관리
모델 관리

mlreef 아키텍처

ML 수명주기 내의 Mlreef ML 구성 요소 :

현재 GIT 및 GIT LFS를 기반으로 한 데이터 스토리지 구성 요소.
작업 모듈 (커뮤니티 또는 팀이 게시 함), 데이터 관리, 데이터 처리 / 데이터 시각화 / 실험 파이프 라인을 기반으로 한 모델 개발.
ML-OPS 오케스트레이션, 실험 및 워크 플로 재현성 및 확장 성.

왜 mlreef인가?

MLREEF는 기계 학습/딥 러닝 유니버스에서 수많은 다른 연구자 및 개발자와 공유하는 문제에 대한 해결책입니다. 교육 생산 급 딥 러닝 모델은 얽힌 프로세스입니다. MLreef는 코드 버전 제어, 연구 프로젝트, 성능 메트릭 및 모델 출처를 연결하여 프로세스를 추적하고 제어합니다.

우리는 DevOps에서 얻은 지식과 공동 작업에 대한 깊은 초점과 결합 된 최고의 데이터 과학 관행에 대한 MLReef를 설계했습니다.