lolpop

lolpop

一個軟件工程框架以開始啟動您的機器學習項目

可以在此處訪問完整的文檔。

安裝

您可以使用pip從PYPI安裝LOLPOP：

pip install lolpop

如果您在開發模式下工作，則可以克隆此倉庫，並通過cd安裝LOLPOP到此目錄並執行：

poetry install 

歡迎來到lolpop！

什麼是lolpop？

LOLPOP是用於機器學習工作流的軟件工程框架。

總體目標是提供一個可以幫助統一數據科學和機器學習工程團隊的框架。我們相信，通過建立一個標準的機器學習工作框架，團隊可以更加干淨地協作並提高生產力。

良好的系統設計對於軟件開發至關重要，LOLPOP試圖遵循以下原則。良好的系統設計將包含：

1. 標準邏輯組件
2. 穩定的API與組件交互
3. 組件和API的規範實現
4. 允許人們實施任何組件版本的可擴展性

此外，在構建LOLPOP時，請記住以下目標：

1. 模塊化是一流的設計概念。設計一個系統，可以根據需要輕鬆互換零件。
2. 該系統是無限擴展的。如果您想編碼，則可以編碼。提供一個簡單的過程來擴展系統中的功能。
3. 抽象層提供可訪問性。抽象的層次使用戶可以構建工作流，而不會在實施細節中丟失。用戶同樣可以將粗糙的代碼變成其他人可以簡單地利用自己的工作流程（即使沒有代碼！）的東西。
4. 提供聲明性的經驗。從開發工作流到生產/自動化工作流程通常在ML中笨拙。有一條良好的宣言經驗的途徑使這裡的困難變得平滑。
5. 在工作流程上進行寫作和執行測試。事情常常脫離軌道。設計一個期望失敗的系統，並在他們進入生產之前就可以輕鬆測試和捕獲問題。
6. 在CI/CD或ML輸送平台上提供邏輯實現。使“環境意識”並直接集成到生產工具中變得容易。
7. 啟用智能默認值以進行用例加速。提供標準組件以開始構建工作流程，並允許開發人員為其他人想要使用其工作時設置推薦的默認值。
8. 使開關費用最小。切換費用阻止團隊做最適合他們的事情，而領導者通常會迫使變革。我們希望使轉向新技術變得容易，並且很容易將現有的工作負載帶入LOLPOP。進行現有的工作量應該是輕量重構練習。
9. 開源。永永遠遠。
10. 幾乎所有其他事物都沒有公開。被認為是用戶採用靈活的系統。我們希望在這些指導原則中盡可能靈活。

關鍵概念

LOLPOP具有相對平坦的概念模型，其中包含三個主要資源以了解：

• 組件：LOLPOP中的核心集成。這些是直接與外部庫合作的集成，以將一些功能引入工作流程，例如：訓練模型，轉換數據，編碼功能，版本化資源等。
• 管道：在一個或多個組件上執行操作以完成工作流程的一部分。例如，模型培訓管道可能具有方法train_model 。此方法將知道如何獲取傳入的數據，訓練模型或一組模型，這些模型並返回獲勝模型。此方法將在幾個組件中起作用，例如功能編碼器，模型培訓師，超參數調諧器，元數據跟踪器和資源版本控制系統。
• 跑步者：協調管道中的操作，並且在必要時也可以在管道上工作。由於管道是獨立的，因此管道之間坐標的主要方式將是層次結構的跑步者級別。預計跑步者將是用例依賴的。 IE培訓管道（和相關的組件）可能足夠抽象，可以在用例中使用，例如分類，回歸，時間序列預測等，但是這些用例之間的跑步者可能會有所不同，因為它需要以不同的方式協調操作。跑步者中的方法通常執行端到端工作流程。

組件，管道和跑步者俱有許多共同的特徵。參考組件，管道和跑步者集時，我們會使用術語集成。

組件，管道和跑步者之間也有自然的等級結構：

1. 跑步者可以有孩子的管道和組件。
2. 管道可以有孩子組件。

它如何工作？

LOLPOP具有直接的開發工作流程。我們希望所有人都能使用令人愉快的使用！

首先：編寫自己的組件或使用預製的組件：

 from lolpop . comonent import BaseComponent 
from catboost import CatBoostRegressor , CatBoostClassifier

class CatboostModelTrainer ( BaseComponent ): 

    def __init__ ( problem_type = None , params = {}, * args , ** kwargs ): 
        super (). __init__ ( * args , ** kwargs )

        if problem_type == "classification" : 
            self . model = CatBoostClassifier ( ** params )
        elif problem_type == "regression" : 
            self . model = CatBoostRegressor ( ** params )

    def fit ( self , data , * args , ** kwargs ):
        self . model . fit ( data [ "X_train" ], data [ "y_train" ])

        return self . model

    ... 

然後，可以將組件在管道和跑步者工作流程中利用。這些工作流程不是參考特定組件類，而是設計用於使用通用組件類型，如下所示。

 from lolpop . pipeline import BasePipeline

class MyTrainingPipeline ( BasePipeline ): 
    ... 

    def train_model ( self , data , * args , ** kwargs ): 

        model = self . model_trainer . train_model ( data )

        return model    
    
    ...

然後，我們配置了在管道和跑步者配置中使用的類，如下所示：

 # runner config
pipeline : 
  train : MyTrainingPipeline
...

# pipelines config
train : 
  component : 
    model_trainer : CatBoostTrainer
  model_trainer : 
    config : 
        training_params : 
            iterations : 2 
            depth : 2 
            learning_rate : 1 
            loss_function : RMSE
...

最後，可以通過Python代碼調用工作流程：

 from lolpop . extension import MyRunner

config_file = "/path/to/dev.yaml"

runner = MyRunner ( conf = config_file )

...

model = runner . train . train_model ( data )

... 

或通過Lolpop CLI：

lolpop run workflow MyRunner --config-file /path/to/dev.yaml

如果您有興趣構建自己的工作流，最好研究一些提供的示例，並研究擴展框架

為什麼要LOLPOP？

長期以來，我們一直認為，ML生態系統缺乏一種工具來充當人們為成功執行生產用例所需要做的所有各種事情之間的膠水。 LOLPOP試圖彌合這一差距 - 成為那種膠水。有關LOLPOP背後靈感的更多信息，請閱讀我們的發布博客。

什麼不是Lolpop？

有時，了解沒有什麼工具才能充分了解它是什麼，這是有幫助的。描述“機器學習工作流的軟件工程框架”可能有點鈍，因此了解以下內容可能會有所幫助：

1. LOLPOP不是編排工具。實際上，您可能應該使用編目來運行使用LOLPOP創建的代碼。您應該很容易地將您選擇的編排工具與LOLPOP集成。

2. LOLPOP不是管道工具。那裡有幾種好的管道工具，您甚至可能想將它們與LOLPOP一起使用。例如，對於那些傾向於的人，我們有一個與LOLPOP一起使用Metaflow的示例。

3. LOLPOP不是元數據跟踪器，訓練平台，實驗鏟球等。我們認為您應該擁有並使用這些。 LOLPOP將很樂意將它們作為組件，並讓您將它們構建到工作流程中。

LOLPOP實際上什麼也沒做，它主要幫助您更快地編寫ML工作流。您使用哪種工具來做到這一點尚未公開。

下一步

• QuickStart：轉到此處獲取快速入門指南。了解如何安裝LOLPOP並將其啟動並運行。運行您的第一個工作流程，跳舞和慶祝！

• 用戶指南：轉到這裡學習如何與LOLPOP合作。

• 集成：在此處了解您可以用來構建自己的工作流程的預製跑步者，管道和組件。

• 擴展：在這裡學習開始構建自己的跑步者，管道和組件所需要做的一切。

• CLI：在這裡學習如何使用LOLPOP命令行接口。

• 示例：在此處找到一些使用LOLPOP的示例。

• 資源：在這裡找出如何與LOLPOP團隊取得聯繫，為LOLPOP做出貢獻。