snorkel
v0.10.0
프로그래밍 방식으로 교육 데이터를 구축하고 관리합니다
스노클링 팀은 이제 스노클링의 핵심 아이디어를 기반으로 한 엔드 투 엔드 AI 애플리케이션 개발 플랫폼 인 스노클링 흐름에 대한 노력에 집중하고 있습니다. 여기에서 확인하거나 우리를 구축 할 수 있습니다!
스노클링 프로젝트는 2015 년 스탠포드에서 단순한 기술적 인 베팅으로 시작되었습니다. 기계 학습 프로젝트가 성공했는지 또는 실패했는지 여부를 결정하는 모델, 알고리즘 또는 인프라가 아닌 교육 데이터가 점점 더 많아 질 것입니다. 이러한 전제를 감안할 때, 우리는 사용자가 교육 데이터를 프로그래밍 방식으로 레이블을 지정하고 구축하고 관리 할 수있는 권한을 부여함으로써 데이터 생성 및 관리 교육의 지저분하고 종종 수동으로 수동으로 수동적으로 수동으로 수동으로 수학적으로 구조 할 수 있다는 급진적 인 아이디어를 탐구하기 시작했습니다.
스노클링 프로젝트가 우리가 기대했던 것 이상으로 성공하고 확장되었다고 말하는 것은 과소 평가 일 것입니다. 스노클링과 같은 연구 저장소의 기본 목표는 가설 테스트 및 검증을위한 최소한의 실행 가능한 프레임 워크를 제공하는 것입니다. 4 년 후, 우리는이 일뿐만 아니라 Google, Intel, Stanford Medicine 등과 같은 세계 최고의 조직과 제휴하여 초기 버전의 스노클링을 개발하고 배치하는 것이 운이 좋았습니다. 약한 감독 모델링, 데이터 증강, 멀티 태스킹 학습 등에 대한 스노클링 및 관련 혁신에 관한 우리의 연구 결과에 대한 60 개 이상의 동료 검토 간행물; 최상위 대학의 과정에 포함됩니다. 지난 몇 시간 동안 사용했던 시스템의 생산 배포 지원; 산업, 의학, 정부, 학계 및 그 너머의 놀라운 연구원 및 실무자 커뮤니티와 함께 일하십시오.
그러나 우리는 주당 근무 시간, 워크샵, 온라인 토론 및 업계 파트너의 사용자와의 대화에서 스노클링 프로젝트가 첫 단계 일뿐 아니라 점점 더 점점 더 깨달았습니다. 스노클링의 아이디어는 훈련 데이터를 레이블을 지정하는 방법뿐만 아니라 ML 빌딩, 배포 및 관리의 전체 수명주기 및 파이프 라인의 많은 부분을 변경합니다. 사용자가 자신의 지식을 주입하는 방법; 모델이 구성, 훈련, 검사, 버전 및 모니터링되는 방법; 전체 파이프 라인이 반복적으로 개발되는 방법; 그리고 주제 전문가부터 ML 엔지니어에 이르기까지 모든 ML 배포의 이해 관계자가 프로세스에 통합되는 방법.
작년에 우리는 AI 애플리케이션을 개발하고 배포하기위한 엔드 투 엔드 머신 러닝 플랫폼 인 스노클링 흐름 (Snorkel Flow)을 지원하기위한 플랫폼을 구축하고 있습니다. 스노클링 흐름에는 약한 감독 모델링, 데이터 확대, 멀티 태스킹 학습, 데이터 슬라이싱 및 구조화, 모니터링 및 분석 등에 대한 다양한 기술과 함께 스노클링 프로젝트의 많은 개념이 통합되어 있습니다. 우리는 그 부품의 합보다 크며 ML을 그 어느 때보 다 ML을 더 빠르고 유연하며 실용적으로 만듭니다.
앞으로, 우리는 스노클링 흐름에 우리의 노력을 집중할 것입니다. 스노클링 프로젝트에 기여한 여러분 모두에게 매우 감사하며 다음 장을 확인하게되어 기쁩니다.
스노클링 라이브러리에 익숙해지는 가장 빠른 방법은 스노클링 웹 사이트의 시작 페이지를 통과 한 다음 스노클링 튜토리얼 리포지토리의 전장 자습서를 통과하는 것입니다. 이 튜토리얼은 자신의 응용 프로그램에 스노클링을 적용 할 때 템플릿 역할을 할 수있는 다양한 작업, 도메인, 라벨링 기술 및 통합을 보여줍니다.
스노클링에는 3.11 이상의 파이썬이 필요합니다. 스노클링을 설치하려면 pip 사용하는 것이 좋습니다.
pip install snorkel 또는 conda :
conda install snorkel -c conda-forge소스에서 설치하고 스노클링에 기여하는 것에 대한 자세한 내용은 기여 지침을 참조하십시오.
다음 예제 명령은 conda 설치할 때 더 많은 색상을 제공합니다. 이 명령은 conda 설치가 Python 3.11이며 snorkel-env 라는 가상 환경을 사용하고 싶다고 가정합니다.
# [OPTIONAL] Activate a virtual environment called "snorkel"
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env
# We specify PyTorch here to ensure compatibility, but it may not be necessary.
conda install pytorch==1.1.0 -c pytorch
conda install snorkel==0.9.0 -c conda-forgeWindows를 사용하는 경우 Docker (튜토리얼 리포지토리에서 예제를 찾을 수 있음) 또는 Linux 서브 시스템을 사용하는 것이 좋습니다. Windows에서 제한된 테스트를 수행 했으므로 지침이나 개선 사항을 제공하려면 PR을 열어주십시오!
우리는 버그 및 기능 요청을 게시하는 데 GitHub 문제를 사용합니다. 먼저 관련 문제를 검색하고 문제 템플릿을 사용하십시오. 프롬프트 수정이 핵심 개발 팀의 즉각적인 로드맵에 맞지 않으면 기부금을 요청할 수 있습니다.
우리는 스노클링 커뮤니티의 기여를 환영합니다! 이것은 라이브러리에서보고 싶은 변화를 얻는 가장 빠른 방법 일 것입니다.
PR (Pull Request)에서 직접 기여할 수 있습니다. 더 큰 기능을 제공하려면 먼저 제안 된 설계를 위해 문제를 만드는 것이 좋습니다. 무엇을 해야하는지에 대한 아이디어를 얻으려면 특정 문제를 help wanted 것으로 표시했습니다.
스노클링에 기여하기위한 개발 환경을 설정하려면 기여 지침을 참조하십시오. 모든 PRS는 지속적인 통합 테스트를 통과하고 스노클링 개발 팀의 구성원으로부터 합병되기 전에 승인을 받아야합니다.
광범위한 Q & A의 경우 스노클링, 튜토리얼 요청 등 사용에 대한 토론은 Spectrum에서 주최하는 스노클링 커뮤니티 포럼을 사용하십시오. 우리는 이것이 다른 스노클링 사용자와 상호 작용할 수있는 장소가되기를 바랍니다. 게시에 대해 부끄러워하지 마십시오!
스노클링 관련 발표 (예 : 버전 릴리스, 다가오는 워크샵)에 대한 최신 정보를 유지하려면 스노클링 메일 링리스트를 구독하십시오. 우리는 귀하의받은 편지함을 존중할 것을 약속합니다. 커뮤니케이션은 드물게 될 것입니다!
Twitter @snorkelai에서 우리를 팔로우하십시오.
