snorkel
v0.10.0
Programmatisch erstellen und verwalten Sie Schulungsdaten
Das Schnorchelteam konzentriert sich jetzt auf den Schnorchelfluss, eine End-to-End-AI-Anwendungsentwicklungsplattform, die auf den Kernideen hinter Schnorchel basiert.
Das Schnorchelprojekt begann 2015 in Stanford mit einer einfachen technischen Wette: Es wären zunehmend die Trainingsdaten , nicht die Modelle, Algorithmen oder Infrastrukturen, die entschieden haben, ob ein maschinelles Lernprojekt erfolgreich war oder gescheitert war. Angesichts dieser Prämisse haben wir uns vorgenommen, die radikale Idee zu untersuchen, dass Sie die mathematische und Systemstruktur in den chaotischen und oft komplett manuellen Prozess der Erstellung und des Managements der Schulung der Schulungsdaten bringen können, beginnend mit der Ermächtigung der Benutzer, Schulungsdaten programmatisch zu kennzeichnen, zu erstellen und zu verwalten .
Zu sagen, dass das Schnorchelprojekt erfolgreich war und erweiterte, was wir jemals erwartet hatten, wäre eine Untertreibung. Die grundlegenden Ziele eines Forschungsrepo wie Schnorchel sind es, einen minimalen praktikablen Rahmen für das Testen und Validieren von Hypothesen zu bieten. Vier Jahre später hatten wir das Glück, nicht nur dies zu tun, sondern auch frühe Versionen von Schnorchel in Zusammenarbeit mit einigen der weltweit führenden Organisationen wie Google, Intel, Stanford Medicine und vielem mehr zu entwickeln und einzusetzen. Autor über sechzig von Experten begutachtete Publikationen zu unseren Erkenntnissen zu Schnorcheln und verwandten Innovationen bei der Modellierung der schwachen Überwachung, der Datenerweiterung, des Multitasking-Lernens und vielem mehr; in Kurse an der höchsten Universitäten aufgenommen werden; Unterstützen Sie Produktionsbereitstellungen in Systemen, die Sie wahrscheinlich in den letzten Stunden verwendet haben. und arbeiten mit einer erstaunlichen Gemeinschaft von Forschern und Praktikern aus Industrie, Medizin, Regierung, Wissenschaft und darüber hinaus.
Wir haben jedoch zunehmend realisiert - aus Gesprächen mit Nutzern in wöchentlichen Bürozeiten, Workshops, Online -Diskussionen und Branchenpartnern -, dass das Schnorchelprojekt nur der erste Schritt war. Die Ideen hinter Schnorcheln verändern nicht nur, wie Sie Trainingsdaten kennzeichnen, sondern so viel von dem gesamten Lebenszyklus und der gesamten Pipeline für das Erstellen, Bereitstellen und Verwalten von ML: Wie Benutzer ihr Wissen injizieren; wie Modelle konstruiert, geschult, inspiziert, versioniert und überwacht werden; wie ganze Pipelines iterativ entwickelt werden; und wie die vollständige Reihe von Stakeholdern in jeder ML -Bereitstellung, von Fachexperten bis hin zu ML -Ingenieuren, in den Prozess einbezogen werden.
Im letzten Jahr haben wir die Plattform aufgebaut, um diese breitere Vision zu unterstützen: Schnorchel Flow, eine End-to-End-Plattform für maschinelles Lernen für die Entwicklung und Bereitstellung von AI-Anwendungen. Der Schnorchelfluss beinhaltet viele Konzepte des Schnorchelprojekts mit einer Reihe neuerer Techniken um schwache Überwachungsmodellierung, Datenerweiterung, Multitasking-Lernen, Datenschneide und Strukturierung, Überwachung und Analyse und vieles mehr, die sich in einer Weise in eine Weise integrieren, die integriert ist, dass ist größer als die Summe seiner Teile - und wir glauben, dass ML ML wirklich schneller, flexibler und praktischer als je zuvor macht.
In Zukunft werden wir unsere Bemühungen auf Schnorchelfluss konzentrieren. Wir sind Ihnen allen, die zum Schnorchelprojekt beigetragen haben, sehr dankbar und freuen uns, dass Sie unser nächstes Kapitel hier ansehen.
Der schnellste Weg, sich mit der Schnorchelbibliothek vertraut zu machen, besteht darin, die Seite "Erste Schritte" auf der Schnorchel-Website zu durchlaufen, gefolgt von den Tutorials in voller Länge im Schnorchel-Tutorials-Repository. Diese Tutorials zeigen eine Vielzahl von Aufgaben, Domänen, Etikettentechniken und Integrationen, die als Vorlagen dienen können, wenn Sie Schnorchel auf Ihre eigenen Anwendungen anwenden.
Schnorchel benötigt Python 3.11 oder höher. Um Schnorchel zu installieren, empfehlen wir die Verwendung von pip :
pip install snorkel oder conda :
conda install snorkel -c conda-forgeInformationen zur Installation von Quelle und zum Ausführen zum Schnorchel finden Sie in unseren beitragenden Richtlinien.
Die folgenden Beispielbefehle geben bei der Installation mit conda etwas mehr Farbe. Diese Befehle gehen davon aus, dass Ihre conda Installation Python 3.11 ist und dass Sie eine virtuelle Umgebung namens snorkel-env verwenden möchten.
# [OPTIONAL] Activate a virtual environment called "snorkel"
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env
# We specify PyTorch here to ensure compatibility, but it may not be necessary.
conda install pytorch==1.1.0 -c pytorch
conda install snorkel==0.9.0 -c conda-forgeWenn Sie Windows verwenden, empfehlen wir dringend, Docker (ein Beispiel in unseren Tutorials Repo zu finden) oder im Linux -Subsystem finden. Wir haben nur begrenzte Tests unter Windows durchgeführt. Wenn Sie also Anweisungen oder Verbesserungen steuern möchten, können Sie eine PR öffnen!
Wir verwenden GitHub-Probleme, um Fehler und Funktionsanforderungen zu veröffentlichen-alles, was mit Code zu tun hat. Stellen Sie einfach sicher, dass Sie zuerst nach verwandten Problemen suchen und verwenden Sie unsere Probleme vor den Vorlagen. Wir können nach Beiträgen fragen, ob eine schnelle Fix nicht in die unmittelbare Roadmap des Kernentwicklungsteams passt.
Wir begrüßen Beiträge der Schnorchelgemeinschaft! Dies ist wahrscheinlich der schnellste Weg, um eine Änderung zu erhalten, die Sie in der Bibliothek sehen möchten.
Kleine Beiträge können direkt in einer Pull Request (PR) geleistet werden. Wenn Sie eine größere Funktion beitragen möchten, empfehlen wir, zunächst ein Problem mit einem vorgeschlagenen Entwurf zur Diskussion zu erstellen. Für Ideen darüber, woran wir arbeiten sollen, haben wir bestimmte Themen als help wanted bezeichnet.
Um eine Entwicklungsumgebung für den Beitrag zum Schnorchel zu schaffen, finden Sie in unseren beitragenden Richtlinien. Alle PRs müssen die kontinuierlichen Integrationstests bestehen und von einem Mitglied des Schnorchelentwicklungsteams genehmigt werden, bevor sie zusammengeführt werden.
Für breitere Fragen und Antworten verwenden Sie die Diskussion über die Verwendung von Schnorcheln, Tutorial -Anfragen usw. Das Schnorchel -Community -Forum, das im Spektrum gehostet wird. Wir hoffen, dass dies ein Veranstaltungsort für Sie ist, um mit anderen Schnorchelnutzern zu interagieren - bitte scheuen Sie sich nicht über das Posten!
Abonnieren Sie die Schnorchel-Mailingliste, um über Schnorchelankündigungen (z. B. Versionsveröffentlichungen für Schnorchel) auf dem neuesten Stand zu bleiben. Wir versprechen, Ihre Posteingänge zu respektieren - die Kommunikation wird spärlich!
Folgen Sie uns auf Twitter @Snorkelai.
