lolpop

lolpop

機械学習プロジェクトをジャンプするソフトウェアエンジニアリングフレームワーク

完全なドキュメントにはこちらからアクセスできます。

インストール

pipを使用して、PypiからLOLPOPをインストールできます。

pip install lolpop

開発モードで作業している場合は、このレポをクローンして、このディレクトリにcd 'ingでlolpopをインストールして実行できます。

poetry install 

lolpopへようこそ！

lolpopとは何ですか？

lolpopは、機械学習ワークフローのソフトウェアエンジニアリングフレームワークです。

包括的な目標は、データサイエンスと機械学習エンジニアリングチームの統合に役立つフレームワークを提供することです。チームがよりきれいにコラボレーションし、より生産的になることができる機械学習作業の標準的なフレームワークを確立することにより、私たちは信じています。

優れたシステム設計はソフトウェア開発において重要であり、lolpopは次の原則に従おうとします。優れたシステム設計には次のものが含まれます。

1. 論理コンポーネントの標準セット
2. コンポーネントと相互作用するための安定したAPI
3. コンポーネントとAPIの標準的な実装
4. 人々が任意のコンポーネントの独自のバージョンを実装できるようにする拡張性

さらに、LOLPOPを構築するときに、次の目標を念頭に置いていました。

1. Modularityは、一流のデザインコンセプトです。必要に応じて部品を簡単に交換できるシステムを設計します。
2. システムは無限に拡張可能です。コーディングしたい場合は、コーディングできます。システム内の機能を拡張するための簡単なプロセスを提供します。
3. 抽象化の層はアクセシビリティを提供します。抽象化のレイヤーにより、ユーザーは実装の詳細に迷子にならずにワークフローを構築できます。同様に、ユーザーはGnarlyコードを、他の人が自分のワークフローで単純に活用できるものに変えることができます（コードがなくても！）。
4. 宣言的な経験を提供します。開発ワークフローから生産/自動化されたワークフローへの移行は、MLで不器用になることがよくあります。ここでは、宣言的な経験のためによく踏まれたパスを持つことで、困難が滑らかになります。
5. ワークフローのテストを簡単に作成して実行できます。物事はしばしばレールから外れます。障害が予想され、生産に入る前に問題を簡単にテストしてキャッチできるシステムを設計します。
6. CI/CDまたはML配信プラットフォームで論理的な実装を提供します。 「環境認識」になり、生産ツールに簡単に統合できるようにします。
7. ユースケースアクセラレーションのスマートデフォルトを有効にします。標準のコンポーネントを提供して、ワークフローの構築を開始し、開発者が他の人が自分の作業を使用したいときに推奨デフォルトを設定できるようにします。
8. 切り替え料金を最小限に抑えます。交換手数料は、チームが彼らにとって最善のことをすることを防ぎ、リーダーシップはしばしば変化を強制するのをbalります。新しい技術に簡単に切り替えることができ、既存のワークロードをLOLPOPに簡単に持ち込むこともできました。既存のワークロードを持ち込むことは、軽量のリファクタリングエクササイズである必要があります。
9. オープンソース。永遠にいつまでも。
10. 他のほぼすべてについては感染していません。意見を述べていると、ユーザーは柔軟性の低いシステムを採用する必要があります。私たちは、これらの指針の原則の中で可能な限り柔軟になりたいと思っています。

重要な概念

lolpopには、理解するための3つの主要なリソースを含む比較的フラットな概念モデルがあります。

• コンポーネント：lolpopのコア統合。これらは、外部ライブラリと直接連携して、モデルのトレーニング、データの変換、機能、バージョンリソースなど、ワークフローに何らかの機能を導入する統合です。
• パイプライン：ワークフローの一部を達成するために、1つ以上のコンポーネントでアクションを実行します。たとえば、モデルトレーニングパイプラインにはメソッドtrain_modelがある場合があります。この方法では、着信データを取得し、モデルまたはモデルのセットをトレーニングし、それらのモデルのバージョン、および勝利モデルを返す方法を知っています。この方法は、機能エンコーダー、モデルトレーナー、ハイパーパラメーターチューナー、メタデータトラッカー、リソースバージョン制御システムなど、いくつかのコンポーネントで機能します。
• ランナー：パイプラインでアクションを調整し、必要に応じてパイプライン全体で動作することもできます。パイプラインは独立しているため、パイプライン間を調整する主な方法は、階層のランナーレベルにあります。ランナーはユースケース依存であると予想されます。つまり、トレーニングパイプライン（および関連するコンポーネント）は、分類、回帰、時系列予測などのユースケースで作業するのに十分な要約ですが、これらのユースケース間のランナーは、それぞれの場合に異なる方法でアクションを調整する必要があるため、おそらく異なるでしょう。通常、ランナーのメソッドは、通常、エンドツーエンドのワークフローを実行します。

コンポーネント、パイプライン、およびランナーには、多くの共通の特性があります。コンポーネント、パイプライン、およびランナーのセットを参照するときに、統合という用語を使用します。

コンポーネント、パイプライン、ランナーの間には自然な階層もあります。

1. ランナーは、子供のパイプラインとコンポーネントを持つことができます。
2. パイプラインには、子供のコンポーネントがあります。

どのように機能しますか？

lolpopには、簡単な開発ワークフローがあります。私たちは皆、それが楽しいと思うことを願っています！

最初：独自のコンポーネントを作成するか、事前に構築されたコンポーネントを使用します。

 from lolpop . comonent import BaseComponent 
from catboost import CatBoostRegressor , CatBoostClassifier

class CatboostModelTrainer ( BaseComponent ): 

    def __init__ ( problem_type = None , params = {}, * args , ** kwargs ): 
        super (). __init__ ( * args , ** kwargs )

        if problem_type == "classification" : 
            self . model = CatBoostClassifier ( ** params )
        elif problem_type == "regression" : 
            self . model = CatBoostRegressor ( ** params )

    def fit ( self , data , * args , ** kwargs ):
        self . model . fit ( data [ "X_train" ], data [ "y_train" ])

        return self . model

    ... 

コンポーネントは、パイプラインとランナーのワークフローで活用できます。特定のコンポーネントクラスを参照する代わりに、これらのワークフローは、以下に示すように、一般的なコンポーネントタイプを使用するように設計されています。

 from lolpop . pipeline import BasePipeline

class MyTrainingPipeline ( BasePipeline ): 
    ... 

    def train_model ( self , data , * args , ** kwargs ): 

        model = self . model_trainer . train_model ( data )

        return model    
    
    ...

次に、以下に示すように、パイプラインとランナーの構成で使用するクラスを構成します。

 # runner config
pipeline : 
  train : MyTrainingPipeline
...

# pipelines config
train : 
  component : 
    model_trainer : CatBoostTrainer
  model_trainer : 
    config : 
        training_params : 
            iterations : 2 
            depth : 2 
            learning_rate : 1 
            loss_function : RMSE
...

最後に、ワークフローはPythonコードを介して呼び出すことができます。

 from lolpop . extension import MyRunner

config_file = "/path/to/dev.yaml"

runner = MyRunner ( conf = config_file )

...

model = runner . train . train_model ( data )

... 

またはlolpop CLI経由：

lolpop run workflow MyRunner --config-file /path/to/dev.yaml

独自のワークフローを構築することに興味がある場合は、提供された例のいくつかを調べて、拡張フレームワークを調べることをお勧めします

なぜlolpop？

私たちは、MLエコシステムには、生産ユースケースを正常に実行するために必要なすべてのさまざまなことの間の接着剤として機能するツールを欠いていると長い間感じてきました。 lolpopは、そのギャップを埋める試みです - その接着剤になるためです。 lolpopの背後にあるインスピレーションの詳細については、起動ブログをお読みください。

lolpopとは何ですか？

ツールが何であるかを完全に理解するために、ツールが何であるかを理解することが役立つ場合があります。 「機械学習ワークフローのためのソフトウェアエンジニアリングフレームワーク」という説明は少し鈍角になる可能性があるため、以下を理解することは役立つかもしれません。

1. lolpopはオーケストレーションツールではありません。実際、lolpopで作成したコードを実行するには、おそらくオーケストレーターを使用する必要があります。選択したオーケストレーションツールをLOLPOPと簡単に統合できるはずです。

2. lolpopはパイプライニングツールではありません。そこにはいくつかの優れたパイプライニングツールがあり、LolPopでそれらを使用したいと思うかもしれません。たとえば、MetaflowをLolpopで使用する例があります。

3. lolpopはメタデータトラッカー、トレーニングプラットフォーム、実験タッカーなどではありません。必要に応じて使用する必要があると思います。 lolpopは、それらをコンポーネントとして喜んで迎え、それらをワークフローに組み込むことができます。

lolpopは実際には何もしません。主に、より良いMLワークフローをより速く書くのに役立ちます。それを行うために使用するツールについては、感染していません。

次のステップ

• QuickStart：QuickStartガイドのためにここにアクセスしてください。 lolpopをインストールする方法を学び、実行して実行してください。最初のワークフローを実行し、踊り、祝いましょう！

• ユーザーガイド：LOLPOPでの作業方法を学ぶためにここにアクセスしてください。

• 統合：ここにアクセスして、事前に構築されたランナー、パイプライン、および独自のワークフローを構築するために使用できるコンポーネントについて学びます。

• 拡張機能：ここにアクセスして、独自のランナー、パイプライン、コンポーネントの構築を開始するために必要なすべてを学びます。

• CLI：ここにアクセスして、lolpopコマンドラインインターフェイスの使用方法を学びます。

• 例：lolpopを使用する例をいくつか見つけてください。

• リソース：ここにアクセスして、lolpopチームと連絡を取り、lolpopなどに貢献します。