snorkel
v0.10.0
สร้างและจัดการข้อมูลการฝึกอบรมโดยทางโปรแกรม
ทีมดำน้ำกำลังมุ่งเน้นไปที่ความพยายามของพวกเขาในการดำน้ำแบบ snorkel ซึ่งเป็นแพลตฟอร์มการพัฒนาแอปพลิเคชัน AI แบบครบวงจรตามแนวคิดหลักที่อยู่เบื้องหลังการดำน้ำ-คุณสามารถตรวจสอบได้ที่นี่หรือเข้าร่วมกับเราในการสร้างมัน!
โครงการดำน้ำเริ่มต้นที่สแตนฟอร์ดในปี 2558 ด้วยการเดิมพันทางเทคนิคอย่างง่าย: มันจะเป็น ข้อมูลการฝึกอบรม มากขึ้นไม่ใช่แบบจำลองอัลกอริทึมหรือโครงสร้างพื้นฐานที่ตัดสินใจว่าโครงการเรียนรู้ของเครื่องจักรประสบความสำเร็จหรือล้มเหลว เมื่อพิจารณาจากหลักฐานนี้เราได้ออกเดินทางเพื่อสำรวจความคิดที่รุนแรงว่าคุณสามารถนำโครงสร้างทางคณิตศาสตร์และระบบไปสู่กระบวนการที่ยุ่งเหยิงและบ่อยครั้งในการฝึกอบรมการสร้างและการจัดการข้อมูลโดยสิ้นเชิงเริ่มต้นด้วยการเพิ่มขีดความสามารถให้ผู้ใช้ใน การติดฉลากสร้างและจัดการ ข้อมูลการฝึกอบรม
ที่จะบอกว่าโครงการดำน้ำประสบความสำเร็จและขยายเกินกว่าที่เราคาดไว้จะเป็นการพูดน้อย เป้าหมายพื้นฐานของ repo การวิจัยเช่นการดำน้ำคือการจัดเตรียมกรอบการทำงานขั้นต่ำสำหรับการทดสอบและการตรวจสอบสมมติฐาน สี่ปีต่อมาเราโชคดีที่ไม่เพียงแค่นี้ แต่เพื่อพัฒนาและปรับใช้การดำน้ำในรุ่นแรก ๆ โดยร่วมมือกับองค์กรชั้นนำของโลกเช่น Google, Intel, Stanford Medicine และอีกมากมาย ผู้เขียนสิ่งพิมพ์ที่ผ่านการตรวจสอบโดยเพียร์มากกว่าหกสิบเรื่องเกี่ยวกับการค้นพบของเราเกี่ยวกับการดำน้ำและนวัตกรรมที่เกี่ยวข้องในการสร้างแบบจำลองการกำกับดูแลที่อ่อนแอการเพิ่มข้อมูลการเรียนรู้แบบหลายงานและอื่น ๆ จะรวมอยู่ในหลักสูตรที่มหาวิทยาลัยชั้นนำ สนับสนุนการปรับใช้การผลิตในระบบที่คุณน่าจะใช้ในช่วงไม่กี่ชั่วโมงที่ผ่านมา และทำงานร่วมกับชุมชนที่น่าทึ่งของนักวิจัยและผู้ปฏิบัติงานจากอุตสาหกรรม, ยา, รัฐบาล, สถาบันการศึกษาและอื่น ๆ
อย่างไรก็ตามเราตระหนักถึงการสนทนากับผู้ใช้ในเวลาทำการทุกสัปดาห์การประชุมเชิงปฏิบัติการการอภิปรายออนไลน์และพันธมิตรอุตสาหกรรม - โครงการดำน้ำเป็นเพียงขั้นตอนแรก ความคิดที่อยู่เบื้องหลังการดำน้ำไม่เพียง แต่การติดฉลากข้อมูลการฝึกอบรม แต่ยังมีวงจรชีวิตและท่อส่งสินค้าทั้งหมดของการสร้างการปรับใช้และการจัดการ ML: วิธีที่ผู้ใช้ฉีดความรู้ วิธีการสร้างแบบจำลองได้รับการฝึกอบรมตรวจสอบเวอร์ชันและตรวจสอบ วิธีการพัฒนาท่อทั้งหมดซ้ำ ๆ และวิธีการที่ผู้มีส่วนได้ส่วนเสียเต็มรูปแบบในการปรับใช้ ML ใด ๆ จากผู้เชี่ยวชาญในเรื่องไปจนถึงวิศวกร ML นั้นรวมอยู่ในกระบวนการ
ในช่วงปีที่ผ่านมาเราได้สร้างแพลตฟอร์มเพื่อสนับสนุนวิสัยทัศน์ที่กว้างขึ้นนี้: Flow Snorkel ซึ่งเป็นแพลตฟอร์มการเรียนรู้ของเครื่องจักรแบบครบวงจรสำหรับการพัฒนาและปรับใช้แอปพลิเคชัน AI Snorkel Flow รวมแนวคิดหลายประการของโครงการดำน้ำด้วยเทคนิคใหม่ ๆ เกี่ยวกับการสร้างแบบจำลองการควบคุมการควบคุมที่อ่อนแอการเพิ่มข้อมูลการเรียนรู้หลายงานการหั่นข้อมูลและการจัดโครงสร้างการตรวจสอบและการวิเคราะห์และอื่น ๆ มากกว่าผลรวมของชิ้นส่วน - และเราเชื่อว่าทำให้ ML เร็วขึ้นอย่างแท้จริงยืดหยุ่นและใช้งานได้จริงกว่าที่เคยเป็นมา
ก้าวไปข้างหน้าเราจะมุ่งเน้นไปที่ความพยายามของเราในการดำน้ำดำ เรารู้สึกขอบคุณอย่างยิ่งสำหรับพวกคุณทุกคนที่มีส่วนร่วมในโครงการดำน้ำและรู้สึกตื่นเต้นที่คุณจะได้ตรวจสอบบทต่อไปของเราที่นี่
วิธีที่เร็วที่สุดในการทำความคุ้นเคยกับห้องสมุดดำน้ำคือการเดินผ่านหน้าเริ่มต้นใช้งานบนเว็บไซต์ดำน้ำตามด้วยบทช่วยสอนแบบเต็มความยาวในพื้นที่เก็บข้อมูลการสอนดำน้ำ บทช่วยสอนเหล่านี้แสดงให้เห็นถึงความหลากหลายของงานโดเมนเทคนิคการติดฉลากและการบูรณาการที่สามารถใช้เป็นเทมเพลตในขณะที่คุณใช้การดำน้ำกับแอปพลิเคชันของคุณเอง
การดำน้ำต้องใช้ Python 3.11 หรือใหม่กว่า ในการติดตั้ง Snorkel เราขอแนะนำให้ใช้ pip :
pip install snorkel หรือ conda :
conda install snorkel -c conda-forgeสำหรับข้อมูลเกี่ยวกับการติดตั้งจากแหล่งที่มาและมีส่วนร่วมในการดำน้ำดูแนวทางการสนับสนุนของเรา
คำสั่งตัวอย่างต่อไปนี้ให้สีเพิ่มเติมเกี่ยวกับการติดตั้งด้วย conda คำสั่งเหล่านี้สันนิษฐานว่าการติดตั้ง conda ของคุณคือ Python 3.11 และคุณต้องการใช้สภาพแวดล้อมเสมือนจริงที่เรียกว่า snorkel-env
# [OPTIONAL] Activate a virtual environment called "snorkel"
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env
# We specify PyTorch here to ensure compatibility, but it may not be necessary.
conda install pytorch==1.1.0 -c pytorch
conda install snorkel==0.9.0 -c conda-forgeหากคุณกำลังใช้ Windows เราขอแนะนำให้ใช้ Docker (คุณสามารถหาตัวอย่างในการแนะนำแบบฝึกหัดของเรา) หรือระบบย่อย Linux เราได้ทำการทดสอบอย่าง จำกัด บน Windows ดังนั้นหากคุณต้องการมีส่วนร่วมในคำแนะนำหรือการปรับปรุงอย่าลังเลที่จะเปิด PR!
เราใช้ปัญหา GitHub สำหรับการโพสต์ข้อบกพร่องและคำขอคุณสมบัติ-สิ่งที่เกี่ยวข้องกับรหัส เพียงตรวจสอบให้แน่ใจว่าคุณค้นหาปัญหาที่เกี่ยวข้องก่อนและใช้เทมเพลตปัญหาของเรา เราอาจขอผลงานหากการแก้ไขพร้อมท์ไม่เหมาะสมกับแผนงานทันทีของทีมพัฒนาหลัก
เรายินดีต้อนรับการมีส่วนร่วมจากชุมชนดำน้ำ! นี่น่าจะเป็นวิธีที่เร็วที่สุดในการเปลี่ยนแปลงที่คุณต้องการดูเข้าไปในห้องสมุด
การมีส่วนร่วมเล็ก ๆ สามารถทำได้โดยตรงในคำขอดึง (PR) หากคุณต้องการมีส่วนร่วมในคุณสมบัติที่ใหญ่กว่าเราขอแนะนำให้สร้างปัญหาด้วยการออกแบบที่เสนอสำหรับการอภิปราย สำหรับแนวคิดเกี่ยวกับสิ่งที่ต้องทำเราได้ระบุปัญหาเฉพาะตาม help wanted
ในการตั้งค่าสภาพแวดล้อมการพัฒนาเพื่อบริจาคกลับไปที่ดำน้ำดูปะการังดูแนวทางการสนับสนุนของเรา PR ทั้งหมดจะต้องผ่านการทดสอบการรวมอย่างต่อเนื่องและได้รับการอนุมัติจากสมาชิกของทีมพัฒนาดำน้ำก่อนที่พวกเขาจะถูกรวมเข้าด้วยกัน
สำหรับคำถามและคำตอบที่กว้างขึ้นการอภิปรายเกี่ยวกับการใช้การดำน้ำคำขอการสอน ฯลฯ ใช้ฟอรัมชุมชนดำน้ำที่โฮสต์บนสเปกตรัม เราหวังว่านี่จะเป็นสถานที่สำหรับคุณที่จะโต้ตอบกับผู้ใช้ดำน้ำรายอื่น - โปรดอย่าอายที่จะโพสต์!
หากต้องการติดตามการประกาศที่เกี่ยวข้องกับการดำน้ำ (เช่นการเผยแพร่เวอร์ชันการประชุมเชิงปฏิบัติการที่กำลังจะมาถึง) สมัครสมาชิกรายชื่อผู้รับจดหมายดำน้ำ เราสัญญาว่าจะเคารพกล่องจดหมายของคุณ - การสื่อสารจะกระจัดกระจาย!
ติดตามเราได้ที่ Twitter @Snorkelai
