runhouse下載 - runhouse原源代碼下載

runhouse

Python

v0.0.37

下載

？ ‍♀️Runhouse？

？歡迎回家！

Runhouse可以在研究和生產之間進行快速，具有成本效益的機器學習開發。它使您可以將Python功能和類派遣到您自己的任何云計算基礎架構中，並熱切地稱其為本地。這意味著：

您可以在遠程GPU或其他功能強大的Instra（例如Ray，Spark或Kubernetes）從筆記本電腦上運行並調試代碼。然後，您的應用程序代碼在CI/CD或生產中運行，仍將工作派遣到遠程下屬。
您的應用程序，包括基礎架構步驟，以代碼捕獲，以消除手動咕unt彈性，並且在您的團隊以及整個研究和生產中都可以重現。
您無與倫比的縮放和成本優化的靈活性是無與倫比的，團隊通常會節省約50％的成本。

跨簇，區域或云進行編排是微不足道的，像縮放，容錯或多步工作流這樣的複雜邏輯也是如此。

什麼是Runhouse？

當研究對生產緩慢而痛苦時，這是由於研究和生產數據/環境不匹配的，以及編排管道缺乏討論能力。
如果團隊需要一種非局勢的方法來執行Python，以靈活地在異質計算上彈性運行一個工作流程，甚至在多個雲提供商上運行。
在諸如sagemaker或vertex之類的平台上結束挫敗感，然後轉到更靈活的解決方案來開發和部署ML代碼。
隨著組織從一次性的ML項目轉變為在尺度ML Flywheel時，ML的成熟度越來越大。

亮點：

將python的功能，類和數據派遣到遠程下屬，並熱切地稱它們為本地。部署/重新部署幾乎是即時的，並將日誌流回去，從而使迭代非常快。
？沒有DSL，裝飾師，YAML，CLI咒語或樣板。只需您自己的常規Python，可部署到您運行Python的任何地方。
？ ‍？不需要特殊的包裝或部署處理；研究和生產法相同。調用CI/CD，編排者或像微服務等應用程序的登錄式功能。
？ ‍？ Byo-Infra獲得了廣泛和不斷增長的支持-Ray，Kubernetes，AWS，GCP，Azure，本地，本地等。
？ ‍極端可重複性和可移植性。沒有鎖定，因為當您想移動，擴展或選擇最便宜的價格時，更換的下屬就像更改1行指定其他群集一樣容易。
？ ‍♀️共享Python函數或類作為強大的服務，包括HTTPS，AUTH，可觀察性，縮放性，自定義域，秘密，版本控制等。
？ ‍？支持複雜的工作流程或服務以及高級邏輯，因為您的組件是脫耦合的，並可以與代碼相互作用。

Runhouse API很簡單。將您的模塊（功能和類）發送到計算中的環境（工作過程）中，這樣：

 import runhouse as rh
from diffusers import StableDiffusionPipeline

def sd_generate ( prompt , ** inference_kwargs ):
    model = StableDiffusionPipeline . from_pretrained ( "stabilityai/stable-diffusion-2-base" ). to ( "cuda" )
    return model ( prompt , ** inference_kwargs ). images

if __name__ == "__main__" :
    img = rh . Image ( "sd_image" ). install_packages ([ "torch" , "transformers" , "diffusers" ])
    gpu = rh . cluster ( name = "rh-a10x" , instance_type = "A10G:1" , provider = "aws" , image = img ). up_if_not ()

    # Deploy the function and environment (syncing over local code changes and installing dependencies)
    remote_sd_generate = rh . function ( sd_generate ). to ( gpu )

    # This call is actually an HTTP request to the app running on the remote server
    imgs = remote_sd_generate ( "A hot dog made out of matcha." )
    imgs [ 0 ]. show ()

    # You can also call it over HTTP directly, e.g. from other machines or languages
    print ( remote_sd_generate . endpoint ())

使用上述簡單結構，您可以構建，調用和共享：

人工智能原語：預處理，培訓，微調，評估，推理
高階服務：多步推理，E2E工作流程，評估手套，HPO
？ UAT端點：客戶團隊測試和集成的即時端點
？最佳實踐公用事業：PII混淆，內容適度，數據增強

？ 與Runhouse Den的Instra監控，資源共享和版本控制

您可以解鎖獨特的可觀察性和與此存儲庫的補充產品Runhouse Den共享功能。

將函數或類發送到遠程計算後，Runhouse允許您堅持並將其作為服務共享，從而將其他冗餘的AI活動變成了團隊或公司的常見模塊化組件。

這使得共享資源可觀察到。借助Den，您可以看到將資源調用的頻率（以及由誰），以及它在盒子上的GPU利用率是什麼。
這可以提高成本 - 認為10毫升管道和研究人員稱之為共享的預處理，培訓，評估或批次推理服務，而不是每個分配自己的計算資源
這提高了速度和可重複性。避免部署每個管道略有不同的代碼，並在發布後向所有人部署改進方法的結果。

從任何地方登錄以節省，共享和加載資源，並觀察單個玻璃窗格上的使用，日誌和計算利用：

runhouse login

或來自Python：

 import runhouse as rh
rh . login ()

擴展上面的示例以通過DEN共享和加載我們的應用：

 remote_sd_generate . share ([ "[email protected]" ])

# The service stub can now be reloaded from anywhere, always at yours and your collaborators' fingertips
# Notice this code doesn't need to change if you update, move, or scale the service
remote_sd_generate = rh . function ( "/your_username/sd_generate" )
imgs = remote_sd_generate ( "More matcha hotdogs." )
imgs [ 0 ]. show ()