LightAutoML
v0.3.0
LightAutoml (Lama) ist ein Automl -Framework von Sber AI Lab.
Es bietet automatische Modellerstellung für die folgenden Aufgaben:
Die aktuelle Version des Pakets behandelt Datensätze mit unabhängigen Muster in jeder Zeile. IE jede Zeile ist ein Objekt mit ihren spezifischen Merkmalen und ihrem Ziel . Multive Datensätze und Sequenzen sind in Arbeit :)
Hinweis : Wir verwenden AutoWoE -Bibliothek, um automatisch interpretierbare Modelle zu erstellen.
Autoren : Alexander Ryzhkov, Anton Vakhrushev, Dmitry Simakov, Vasilii Bunakov, Rinchin Damdinov, Pavel Shvets, Alexander Kirilin.
Dokumentation von lightAutoml ist hier verfügbar, Sie können sie auch generieren.
Full GPU -Pipeline für LightAutoml derzeit für Entwicklertests verfügbar (noch in Arbeit). Der Code und die Tutorials, die hier verfügbar sind
Führen Sie die folgenden Befehle aus:
# Install base functionality:
pip install -U lightautoml
# For partial installation use corresponding option.
# Extra dependecies: [nlp, cv, report]
# Or you can use 'all' to install everything
pip install -U lightautoml[nlp]
Zusätzliche, Ausführen der folgenden Befehle, um die Generierung von PDF -Bericht zu aktivieren:
# MacOS
brew install cairo pango gdk-pixbuf libffi
# Debian / Ubuntu
sudo apt-get install build-essential libcairo2 libpango-1.0-0 libpangocairo-1.0-0 libgdk-pixbuf2.0-0 libffi-dev shared-mime-info
# Fedora
sudo yum install redhat-rpm-config libffi-devel cairo pango gdk-pixbuf2
# Windows
# follow this tutorial https://weasyprint.readthedocs.io/en/stable/install.html#windowsZurück nach oben
Lassen Sie uns den beliebten Kaggle Titanic -Wettbewerb unten lösen. Es gibt zwei Hauptmethoden, um Probleme mit dem maschinellen Lernen mit LightAutoml zu lösen:
import pandas as pd
from sklearn . metrics import f1_score
from lightautoml . automl . presets . tabular_presets import TabularAutoML
from lightautoml . tasks import Task
df_train = pd . read_csv ( '../input/titanic/train.csv' )
df_test = pd . read_csv ( '../input/titanic/test.csv' )
automl = TabularAutoML (
task = Task (
name = 'binary' ,
metric = lambda y_true , y_pred : f1_score ( y_true , ( y_pred > 0.5 ) * 1 ))
)
oof_pred = automl . fit_predict (
df_train ,
roles = { 'target' : 'Survived' , 'drop' : [ 'PassengerId' ]}
)
test_pred = automl . predict ( df_test )
pd . DataFrame ({
'PassengerId' : df_test . PassengerId ,
'Survived' : ( test_pred . data [:, 0 ] > 0.5 ) * 1
}). to_csv ( 'submit.csv' , index = False )Das Lighautoml-Framework verfügt über viele nutzungsfristige Teile und umfangreiche Anpassungsoptionen, um weitere Informationen zu erfahren.
Zurück nach oben
Tutorial_1_basics.ipynb - Beginnen Sie mit LightAutoml auf tabellarischen Daten.Tutorial_2_WhiteBox_AutoWoE.ipynb - Erstellen interpretierbarer Modelle.Tutorial_3_sql_data_source.ipynb - zeigt, wie LightAutoml -Voreinstellungen (sowohl eigenständige als auch zeit- und zeit- und dauerhafte Varianten) zur Lösung von ML -Aufgaben auf tabellarischen Daten von SQL -Datenbank anstelle von CSV verwendet werden.Tutorial_4_NLP_Interpretation.ipynb - Beispiel für die Verwendung von Tabarsnlpautoml Preset, Limetextexplainer.Tutorial_5_uplift.ipynb - zeigt, wie LightAutoml für eine Aufgabe von Uplift -Modelling verwendet wird.Tutorial_6_custom_pipeline.ipynb - zeigt, wie Sie Ihre eigene Pipeline aus angegebenen Blöcken erstellen: Pipelines für die Auswahl der Feature -Funktionen, ML -Algorithmen, Hyperparameteroptimierung usw.Tutorial_7_ICE_and_PDP_interpretation.ipynb - zeigt, wie die lokale und globale Interpretation von Modellergebnissen mit ICE- und PDP -Ansätzen erhalten wird.Anmerkung 1 : Für die Produktion müssen Sie keinen Profiler verwenden (der Arbeitszeit und Speichervergleich erhöht). Bitte schalten Sie ihn also nicht ein.
Anmerkung 2 : Um sich diesen Bericht nach dem Lauf anzusehen, kommentieren Sie bitte die letzte Demo -Zeile mit dem Bericht des Berichts löschen.
LightAutoml -Crash -Kurse :
Videoführer :
Papiere :
Artikel über Lightautoml :
Zurück nach oben
Wenn Sie daran interessiert sind, zu LightAutoml beizutragen, lesen Sie bitte den beitragenden Leitfaden, um loszulegen.
Zurück nach oben
Dieses Projekt ist unter der Apache -Lizenz, Version 2.0, lizenziert. Weitere Informationen finden Sie unter Lizenzdatei.
Zurück nach oben
Zunächst müssen Sie Git und Poesie installieren.
# Load LAMA source code
git clone https://github.com/sberbank-ai-lab/LightAutoML.git
cd LightAutoML/
# !!!Choose only one item!!!
# 1. Global installation: Don't create virtual environment
poetry config virtualenvs.create false --local
# 2. Recommended: Create virtual environment inside your project directory
poetry config virtualenvs.in-project true
# For more information read poetry docs
# Install LAMA
poetry lock
poetry install import pandas as pd
from sklearn . metrics import f1_score
from lightautoml . automl . presets . tabular_presets import TabularAutoML
from lightautoml . tasks import Task
df_train = pd . read_csv ( '../input/titanic/train.csv' )
df_test = pd . read_csv ( '../input/titanic/test.csv' )
# define that machine learning problem is binary classification
task = Task ( "binary" )
reader = PandasToPandasReader ( task , cv = N_FOLDS , random_state = RANDOM_STATE )
# create a feature selector
model0 = BoostLGBM (
default_params = { 'learning_rate' : 0.05 , 'num_leaves' : 64 ,
'seed' : 42 , 'num_threads' : N_THREADS }
)
pipe0 = LGBSimpleFeatures ()
mbie = ModelBasedImportanceEstimator ()
selector = ImportanceCutoffSelector ( pipe0 , model0 , mbie , cutoff = 0 )
# build first level pipeline for AutoML
pipe = LGBSimpleFeatures ()
# stop after 20 iterations or after 30 seconds
params_tuner1 = OptunaTuner ( n_trials = 20 , timeout = 30 )
model1 = BoostLGBM (
default_params = { 'learning_rate' : 0.05 , 'num_leaves' : 128 ,
'seed' : 1 , 'num_threads' : N_THREADS }
)
model2 = BoostLGBM (
default_params = { 'learning_rate' : 0.025 , 'num_leaves' : 64 ,
'seed' : 2 , 'num_threads' : N_THREADS }
)
pipeline_lvl1 = MLPipeline ([
( model1 , params_tuner1 ),
model2
], pre_selection = selector , features_pipeline = pipe , post_selection = None )
# build second level pipeline for AutoML
pipe1 = LGBSimpleFeatures ()
model = BoostLGBM (
default_params = { 'learning_rate' : 0.05 , 'num_leaves' : 64 ,
'max_bin' : 1024 , 'seed' : 3 , 'num_threads' : N_THREADS },
freeze_defaults = True
)
pipeline_lvl2 = MLPipeline ([ model ], pre_selection = None , features_pipeline = pipe1 ,
post_selection = None )
# build AutoML pipeline
automl = AutoML ( reader , [
[ pipeline_lvl1 ],
[ pipeline_lvl2 ],
], skip_conn = False )
# train AutoML and get predictions
oof_pred = automl . fit_predict ( df_train , roles = { 'target' : 'Survived' , 'drop' : [ 'PassengerId' ]})
test_pred = automl . predict ( df_test )
pd . DataFrame ({
'PassengerId' : df_test . PassengerId ,
'Survived' : ( test_pred . data [:, 0 ] > 0.5 ) * 1
}). to_csv ( 'submit.csv' , index = False )Zurück nach oben
Suchen Sie sich bei Slack Community oder Telegram Group um jeden Rat.
Öffnen Sie Fehlerberichte und Feature -Anfragen zu Github -Problemen.
