
编程构建和管理培训数据
浮潜团队现在将他们的精力集中在浮潜流上,浮潜流是一个基于浮潜背后的核心创意的端到端AI应用程序开发平台 - 您可以在这里检查一下或加入我们建立它!
浮潜项目于2015年在斯坦福大学启动了一个简单的技术赌注:它将越来越多地是培训数据,而不是模型,算法或基础架构,该数据决定了机器学习项目是成功还是失败。鉴于这个前提,我们着手探索一个激进的想法,即您可以将数学和系统结构带入综合的手动培训数据创建和管理过程中,首先是授权用户能够通过编程方式标记,构建和管理培训数据。
要说浮潜项目成功并扩展了我们曾经预期的,这将是一种轻描淡写。像浮潜这样的研究回购的基本目标是为测试和验证假设提供一个最小可行的框架。四年后,我们很幸运地不仅要这样做,还可以与Google,Intel,Stanford Medicine等世界领先组织合作开发和部署浮潜的早期版本。作者涉及六十多个同行评审的出版物,内容涉及我们围绕浮潜的发现以及弱监督建模,数据增强,多任务学习等方面的相关创新;被包括在顶级大学的课程中;支持您过去几个小时内可能使用的系统中的生产部署;并与来自行业,医学,政府,学术界及其他地区的研究人员和从业者组成的令人惊叹的社区。
但是,我们越来越意识到与用户在每周的办公时间,讲习班,在线讨论和行业合作伙伴中与用户进行对话 - 浮潜项目只是第一步。浮潜背后的想法不仅改变了您如何标记培训数据,而且会改变整个生命周期和构建,部署和管理ML的渠道:用户如何注入知识;如何构建,训练,检查,版本化和监视模型;整个管道如何迭代开发;从主题专家到ML工程师的任何ML部署中的全部利益相关者都如何纳入过程中。
在过去的一年中,我们一直在建立支持这个更广泛愿景的平台:浮潜流,这是一个用于开发和部署AI应用程序的端到端机器学习平台。浮潜流将浮潜项目的许多概念结合到围绕弱监督建模,数据增强,多任务学习,数据切片和结构,监视和分析等的一系列较新的技术,所有这些技术都以某种方式集成的方式大于其部分的总和,并且我们认为ML比以往任何时候都更快,更灵活,更实用。
向前迈进,我们将把精力集中在浮潜上。我们非常感谢所有为浮潜项目做出贡献的人,并为您在此处查看我们的下一章感到兴奋。
熟悉浮潜库的最快方法是在浮潜网站上浏览“启动”页面,然后在浮潜教程存储库中的全长教程。这些教程展示了各种任务,域,标签技术和集成,这些任务可以作为模板在您自己的应用程序中应用时用作模板。
浮潜需要Python 3.11或更高版本。要安装浮潜,我们建议使用pip :
pip install snorkel或conda :
conda install snorkel -c conda-forge有关从源头安装和为浮潜做出贡献的信息,请参阅我们的贡献指南。
以下示例命令在与conda安装时给出了更多颜色。这些命令假定您的conda安装为Python 3.11,并且您想使用称为snorkel-env的虚拟环境。
# [OPTIONAL] Activate a virtual environment called "snorkel"
conda create --yes -n snorkel-env python=3.11
conda activate snorkel-env
# We specify PyTorch here to ensure compatibility, but it may not be necessary.
conda install pytorch==1.1.0 -c pytorch
conda install snorkel==0.9.0 -c conda-forge如果您使用的是Windows,我们强烈建议使用Docker(您可以在我们的教程回购中找到一个示例)或Linux子系统。我们在Windows上进行了有限的测试,因此,如果您想贡献说明或改进,请随时打开PR!
我们使用GitHub问题发布错误和功能请求 - 任何与代码相关的内容。只需确保您首先搜索相关问题并使用我们的问题模板即可。如果及时修复不适合核心开发团队的直接路线图,我们可能会要求捐款。
我们欢迎浮潜社区的贡献!这可能是最快的改变您想进入库中的更改的方法。
可以直接在拉动请求(PR)中直接做出少量贡献。如果您想贡献更大的功能,我们建议首先通过提出的讨论设计创建问题。有关从事工作的想法,我们将特定问题标记为help wanted 。
为了建立一个发展环境以返回浮潜,请参阅我们的贡献指南。所有PRS都必须通过持续的集成测试,并在合并之前获得浮潜开发团队成员的批准。
有关更广泛的问答,请讨论使用浮潜,教程请求等。我们希望这将是您与其他浮潜用户互动的场所 - 请不要害羞发布!
要保持与浮潜相关的公告(例如版本,即将举行的研讨会)的最新信息,请订阅“浮潜邮件列表”。我们保证尊重您的收件箱 - 沟通将很少!
在Twitter @snorkelai上关注我们。