LightAutoML
v0.3.0
Lightautoml (лама) - это а автоматическая структура Sber AI Lab.
Он обеспечивает автоматическое создание модели для следующих задач:
Текущая версия пакета обрабатывает наборы данных, которые имеют независимые образцы в каждой строке. Т.е. каждая строка является объектом с его конкретными функциями и целью . Наборы данных и последовательности многоднамерных данных - это работа :)
Примечание . Мы используем библиотеку AutoWoE для автоматического создания интерпретируемых моделей.
Авторы : Александр Ричков, Антон Вахрушев, Дмитрий Симаков, Василия Банаков, Ринчин Дамдинов, Павел Шветс, Александр Кирилин.
Документация LightAutoml доступна здесь, вы также можете его генерировать.
Полный трубопровод GPU для LightAutoml, в настоящее время доступный для тестирования разработчиков (все еще в процессе). Код и учебные пособия, доступные здесь
Чтобы установить Lama Framework на вашем компьютере из PYPI, выполните следующие команды:
# Install base functionality:
pip install -U lightautoml
# For partial installation use corresponding option.
# Extra dependecies: [nlp, cv, report]
# Or you can use 'all' to install everything
pip install -U lightautoml[nlp]
Добавление, запустите следующие команды, чтобы включить генерацию отчета PDF:
# MacOS
brew install cairo pango gdk-pixbuf libffi
# Debian / Ubuntu
sudo apt-get install build-essential libcairo2 libpango-1.0-0 libpangocairo-1.0-0 libgdk-pixbuf2.0-0 libffi-dev shared-mime-info
# Fedora
sudo yum install redhat-rpm-config libffi-devel cairo pango gdk-pixbuf2
# Windows
# follow this tutorial https://weasyprint.readthedocs.io/en/stable/install.html#windowsВернуться к вершине
Давайте решим популярную конкурс Kaggle Titanic ниже. Есть два основных способа решения проблем машинного обучения с помощью LightAutoml:
import pandas as pd
from sklearn . metrics import f1_score
from lightautoml . automl . presets . tabular_presets import TabularAutoML
from lightautoml . tasks import Task
df_train = pd . read_csv ( '../input/titanic/train.csv' )
df_test = pd . read_csv ( '../input/titanic/test.csv' )
automl = TabularAutoML (
task = Task (
name = 'binary' ,
metric = lambda y_true , y_pred : f1_score ( y_true , ( y_pred > 0.5 ) * 1 ))
)
oof_pred = automl . fit_predict (
df_train ,
roles = { 'target' : 'Survived' , 'drop' : [ 'PassengerId' ]}
)
test_pred = automl . predict ( df_test )
pd . DataFrame ({
'PassengerId' : df_test . PassengerId ,
'Survived' : ( test_pred . data [:, 0 ] > 0.5 ) * 1
}). to_csv ( 'submit.csv' , index = False )Lighautoml Framework имеет множество готовых к использованию деталей и обширных вариантов настройки, чтобы узнать больше о разделе ресурсов.
Вернуться к вершине
Tutorial_1_basics.ipynb - Начните с Lightautoml на табличных данных.Tutorial_2_WhiteBox_AutoWoE.ipynb - Создание интерпретируемых моделей.Tutorial_3_sql_data_source.ipynb - показывает, как использовать предустановки LightAutoml (как автономные, так и используемые временные варианты) для решения задач ML на табличных данных из базы данных SQL вместо CSV.Tutorial_4_NLP_Interpretation.ipynb - Пример использования PRESET TabularnlPautoml, LimetExtexplainer.Tutorial_5_uplift.ipynb показывает, как использовать LightAutoml для задачи повышения моделирования.Tutorial_6_custom_pipeline.ipynb - показывает, как создать свой собственный конвейер из указанных блоков: трубопроводы для генерации функций и выбора функций, алгоритмы ML, оптимизация гиперпараметрии и т. Д.Tutorial_7_ICE_and_PDP_interpretation.ipynb - показывает, как получить локальную и глобальную интерпретацию результатов модели с использованием подходов ICE и PDP.ПРИМЕЧАНИЕ 1 : Для производства вам не нужно использовать Profiler (который увеличивает рабочее время и концепция памяти), поэтому, пожалуйста, не включайте его - он в Off Cathate по умолчанию
Примечание 2 : Чтобы взглянуть на этот отчет после запуска, прокомментируйте последнюю строку демонстрации с командой по удалению отчетов.
Lightautoml Crash Courses :
Видео -гиды :
Документы :
Статьи о LightAutoml :
Вернуться к вершине
Если вы заинтересованы в участии в LightAutoml, пожалуйста, прочитайте руководство для начала.
Вернуться к вершине
Этот проект лицензирован по лицензии Apache, версия 2.0. См. Файл лицензии для получения более подробной информации.
Вернуться к вершине
Прежде всего вам нужно установить git и поэзию.
# Load LAMA source code
git clone https://github.com/sberbank-ai-lab/LightAutoML.git
cd LightAutoML/
# !!!Choose only one item!!!
# 1. Global installation: Don't create virtual environment
poetry config virtualenvs.create false --local
# 2. Recommended: Create virtual environment inside your project directory
poetry config virtualenvs.in-project true
# For more information read poetry docs
# Install LAMA
poetry lock
poetry install import pandas as pd
from sklearn . metrics import f1_score
from lightautoml . automl . presets . tabular_presets import TabularAutoML
from lightautoml . tasks import Task
df_train = pd . read_csv ( '../input/titanic/train.csv' )
df_test = pd . read_csv ( '../input/titanic/test.csv' )
# define that machine learning problem is binary classification
task = Task ( "binary" )
reader = PandasToPandasReader ( task , cv = N_FOLDS , random_state = RANDOM_STATE )
# create a feature selector
model0 = BoostLGBM (
default_params = { 'learning_rate' : 0.05 , 'num_leaves' : 64 ,
'seed' : 42 , 'num_threads' : N_THREADS }
)
pipe0 = LGBSimpleFeatures ()
mbie = ModelBasedImportanceEstimator ()
selector = ImportanceCutoffSelector ( pipe0 , model0 , mbie , cutoff = 0 )
# build first level pipeline for AutoML
pipe = LGBSimpleFeatures ()
# stop after 20 iterations or after 30 seconds
params_tuner1 = OptunaTuner ( n_trials = 20 , timeout = 30 )
model1 = BoostLGBM (
default_params = { 'learning_rate' : 0.05 , 'num_leaves' : 128 ,
'seed' : 1 , 'num_threads' : N_THREADS }
)
model2 = BoostLGBM (
default_params = { 'learning_rate' : 0.025 , 'num_leaves' : 64 ,
'seed' : 2 , 'num_threads' : N_THREADS }
)
pipeline_lvl1 = MLPipeline ([
( model1 , params_tuner1 ),
model2
], pre_selection = selector , features_pipeline = pipe , post_selection = None )
# build second level pipeline for AutoML
pipe1 = LGBSimpleFeatures ()
model = BoostLGBM (
default_params = { 'learning_rate' : 0.05 , 'num_leaves' : 64 ,
'max_bin' : 1024 , 'seed' : 3 , 'num_threads' : N_THREADS },
freeze_defaults = True
)
pipeline_lvl2 = MLPipeline ([ model ], pre_selection = None , features_pipeline = pipe1 ,
post_selection = None )
# build AutoML pipeline
automl = AutoML ( reader , [
[ pipeline_lvl1 ],
[ pipeline_lvl2 ],
], skip_conn = False )
# train AutoML and get predictions
oof_pred = automl . fit_predict ( df_train , roles = { 'target' : 'Survived' , 'drop' : [ 'PassengerId' ]})
test_pred = automl . predict ( df_test )
pd . DataFrame ({
'PassengerId' : df_test . PassengerId ,
'Survived' : ( test_pred . data [:, 0 ] > 0.5 ) * 1
}). to_csv ( 'submit.csv' , index = False )Вернуться к вершине
Поиск быстрого совета в Slack Community или Telegram Group.
Откройте отчеты об ошибках и запросы функций по вопросам GitHub.
