runhouse下载 - runhouse原源代码下载

runhouse

Python

v0.0.37

下载

？‍♀️Runhouse？

？欢迎回家！

Runhouse可以在研究和生产之间进行快速，具有成本效益的机器学习开发。它使您可以将Python功能和类派遣到您自己的任何云计算基础架构中，并热切地称其为本地。这意味着：

您可以在远程GPU或其他功能强大的Instra（例如Ray，Spark或Kubernetes）从笔记本电脑上运行并调试代码。然后，您的应用程序代码在CI/CD或生产中运行，仍将工作派遣到远程下属。
您的应用程序，包括基础架构步骤，以代码捕获，以消除手动咕unt弹性，并且在您的团队以及整个研究和生产中都可以重现。
您无与伦比的缩放和成本优化的灵活性是无与伦比的，团队通常会节省约50％的成本。

跨簇，区域或云进行编排是微不足道的，像缩放，容错或多步工作流这样的复杂逻辑也是如此。

什么是Runhouse？

当研究对生产缓慢而痛苦时，这是由于研究和生产数据/环境不匹配的，以及编排管道缺乏讨论能力。
如果团队需要一种非局势的方法来执行Python，以灵活地在异质计算上弹性运行一个工作流程，甚至在多个云提供商上运行。
在诸如sagemaker或vertex之类的平台上结束挫败感，然后转到更灵活的解决方案来开发和部署ML代码。
随着组织从一次性的ML项目转变为在尺度ML Flywheel时，ML的成熟度越来越大。

亮点：

将python的功能，类和数据派遣到远程下属，并热切地称它们为本地。部署/重新部署几乎是即时的，并将日志流回去，从而使迭代非常快。
？没有DSL，装饰师，YAML，CLI咒语或样板。只需您自己的常规Python，可部署到您运行Python的任何地方。
？‍？不需要特殊的包装或部署处理；研究和生产法相同。调用CI/CD，编排者或像微服务等应用程序的登录式功能。
？‍？ Byo-Infra获得了广泛和不断增长的支持-Ray，Kubernetes，AWS，GCP，Azure，本地，本地等。
？‍极端可重复性和可移植性。没有锁定，因为当您想移动，扩展或选择最便宜的价格时，更换的下属就像更改1行指定其他群集一样容易。
？‍♀️共享Python函数或类作为强大的服务，包括HTTPS，AUTH，可观察性，缩放性，自定义域，秘密，版本控制等。
？‍？支持复杂的工作流程或服务以及高级逻辑，因为您的组件是脱耦合的，并可以与代码相互作用。

Runhouse API很简单。将您的模块（功能和类）发送到计算中的环境（工作过程）中，这样：

 import runhouse as rh
from diffusers import StableDiffusionPipeline

def sd_generate ( prompt , ** inference_kwargs ):
    model = StableDiffusionPipeline . from_pretrained ( "stabilityai/stable-diffusion-2-base" ). to ( "cuda" )
    return model ( prompt , ** inference_kwargs ). images

if __name__ == "__main__" :
    img = rh . Image ( "sd_image" ). install_packages ([ "torch" , "transformers" , "diffusers" ])
    gpu = rh . cluster ( name = "rh-a10x" , instance_type = "A10G:1" , provider = "aws" , image = img ). up_if_not ()

    # Deploy the function and environment (syncing over local code changes and installing dependencies)
    remote_sd_generate = rh . function ( sd_generate ). to ( gpu )

    # This call is actually an HTTP request to the app running on the remote server
    imgs = remote_sd_generate ( "A hot dog made out of matcha." )
    imgs [ 0 ]. show ()

    # You can also call it over HTTP directly, e.g. from other machines or languages
    print ( remote_sd_generate . endpoint ())

使用上述简单结构，您可以构建，调用和共享：

人工智能原语：预处理，培训，微调，评估，推理
高阶服务：多步推理，E2E工作流程，评估手套，HPO
？ UAT端点：客户团队测试和集成的即时端点
？最佳实践公用事业：PII混淆，内容适度，数据增强

？与Runhouse Den的Instra监控，资源共享和版本控制

您可以解锁独特的可观察性和与此存储库的补充产品Runhouse Den共享功能。

将函数或类发送到远程计算后，Runhouse允许您坚持并将其作为服务共享，从而将其他冗余的AI活动变成了团队或公司的常见模块化组件。

这使得共享资源可观察到。借助Den，您可以看到将资源调用的频率（以及由谁），以及它在盒子上的GPU利用率是什么。
这可以提高成本 - 认为10毫升管道和研究人员称之为共享的预处理，培训，评估或批次推理服务，而不是每个分配自己的计算资源
这提高了速度和可重复性。避免部署每个管道略有不同的代码，并在发布后向所有人部署改进方法的结果。

从任何地方登录以节省，共享和加载资源，并观察单个玻璃窗格上的使用，日志和计算利用：

runhouse login

或来自Python：

 import runhouse as rh
rh . login ()

扩展上面的示例以通过DEN共享和加载我们的应用：

 remote_sd_generate . share ([ "[email protected]" ])

# The service stub can now be reloaded from anywhere, always at yours and your collaborators' fingertips
# Notice this code doesn't need to change if you update, move, or scale the service
remote_sd_generate = rh . function ( "/your_username/sd_generate" )
imgs = remote_sd_generate ( "More matcha hotdogs." )
imgs [ 0 ]. show ()