
編程構建和管理培訓數據
浮潛團隊現在將他們的精力集中在浮潛流上,浮潛流是一個基於浮潛背後的核心創意的端到端AI應用程序開發平台 - 您可以在這裡檢查一下或加入我們建立它!
浮潛項目於2015年在斯坦福大學啟動了一個簡單的技術賭注:它將越來越多地是培訓數據,而不是模型,算法或基礎架構,該數據決定了機器學習項目是成功還是失敗。鑑於這個前提,我們著手探索一個激進的想法,即您可以將數學和系統結構帶入綜合的手動培訓數據創建和管理過程中,首先是授權用戶能夠通過編程方式標記,構建和管理培訓數據。
要說浮潛項目成功並擴展了我們曾經預期的,這將是一種輕描淡寫。像浮潛這樣的研究回購的基本目標是為測試和驗證假設提供一個最小可行的框架。四年後,我們很幸運地不僅要這樣做,還可以與Google,Intel,Stanford Medicine等世界領先組織合作開發和部署浮潛的早期版本。作者涉及六十多個同行評審的出版物,內容涉及我們圍繞浮潛的發現以及弱監督建模,數據增強,多任務學習等方面的相關創新;被包括在頂級大學的課程中;支持您過去幾個小時內可能使用的系統中的生產部署;並與來自行業,醫學,政府,學術界及其他地區的研究人員和從業者組成的令人驚嘆的社區。
但是,我們越來越意識到與用戶在每週的辦公時間,講習班,在線討論和行業合作夥伴中與用戶進行對話 - 浮潛項目只是第一步。浮潛背後的想法不僅改變了您如何標記培訓數據,而且會改變整個生命週期和構建,部署和管理ML的渠道:用戶如何注入知識;如何構建,訓練,檢查,版本化和監視模型;整個管道如何迭代開發;從主題專家到ML工程師的任何ML部署中的全部利益相關者都如何納入過程中。
在過去的一年中,我們一直在建立支持這個更廣泛願景的平台:浮潛流,這是一個用於開發和部署AI應用程序的端到端機器學習平台。浮潛流將浮潛項目的許多概念結合到圍繞弱監督建模,數據增強,多任務學習,數據切片和結構,監視和分析等的一系列較新的技術,所有這些技術都以某種方式集成的方式大於其部分的總和,並且我們認為ML比以往任何時候都更快,更靈活,更實用。
向前邁進,我們將把精力集中在浮潛上。我們非常感謝所有為浮潛項目做出貢獻的人,並為您在此處查看我們的下一章感到興奮。
熟悉浮潛庫的最快方法是在浮潛網站上瀏覽“啟動”頁面,然後在浮潛教程存儲庫中的全長教程。這些教程展示了各種任務,域,標籤技術和集成,這些任務可以作為模板在您自己的應用程序中應用時用作模板。
浮潛需要Python 3.11或更高版本。要安裝浮潛,我們建議使用pip :
pip install snorkel或conda :
conda install snorkel -c conda-forge有關從源頭安裝和為浮潛做出貢獻的信息,請參閱我們的貢獻指南。
以下示例命令在與conda安裝時給出了更多顏色。這些命令假定您的conda安裝為Python 3.11,並且您想使用稱為snorkel-env的虛擬環境。
# [OPTIONAL] Activate a virtual environment called "snorkel"
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env
# We specify PyTorch here to ensure compatibility, but it may not be necessary.
conda install pytorch==1.1.0 -c pytorch
conda install snorkel==0.9.0 -c conda-forge如果您使用的是Windows,我們強烈建議使用Docker(您可以在我們的教程回購中找到一個示例)或Linux子系統。我們在Windows上進行了有限的測試,因此,如果您想貢獻說明或改進,請隨時打開PR!
我們使用GitHub問題發布錯誤和功能請求 - 任何與代碼相關的內容。只需確保您首先搜索相關問題並使用我們的問題模板即可。如果及時修復不適合核心開發團隊的直接路線圖,我們可能會要求捐款。
我們歡迎浮潛社區的貢獻!這可能是最快的改變您想進入庫中的更改的方法。
可以直接在拉動請求(PR)中直接做出少量貢獻。如果您想貢獻更大的功能,我們建議首先通過提出的討論設計創建問題。有關從事工作的想法,我們將特定問題標記為help wanted 。
為了建立一個發展環境以返回浮潛,請參閱我們的貢獻指南。所有PRS都必須通過持續的集成測試,並在合併之前獲得浮潛開發團隊成員的批准。
有關更廣泛的問答,請討論使用浮潛,教程請求等。我們希望這將是您與其他浮潛用戶互動的場所 - 請不要害羞發布!
要保持與浮潛相關的公告(例如版本,即將舉行的研討會)的最新信息,請訂閱“浮潛郵件列表”。我們保證尊重您的收件箱 - 溝通將很少!
在Twitter @snorkelai上關注我們。