Auto PyTorch Download - Auto PyTorch Sourced Code скачать

Авто-питор

В то время как ранние фреймворки Automl сфокусировались на оптимизации традиционных трубопроводов ML и их гиперпараметров, еще одна тенденция в автоматическом устройстве - сосредоточиться на поиске нейронной архитектуры. Чтобы собрать лучшие из этих двух миров, мы разработали Auto-Pytorch , который совместно и надежно оптимизирует сетевую архитектуру и обучающие гиперпараметры, чтобы обеспечить полностью автоматизированное глубокое обучение (AutoDL).

Auto-Pytorch в основном разработан для поддержки табличных данных (классификация, регрессия) и данных временных рядов (прогнозирование). Новейшие функции в Auto-Pytorch для табличных данных описаны в статье «Auto-Pytorch Tabular: многоцелевое металлическое обучение для эффективного и надежного автоматического» (см. Ниже для Bibtex Ref). Подробная информация об автопиторе для задач прогнозирования многогоризонтальных временных рядов можно найти в статье «Эффективное автоматическое глубокое обучение для прогнозирования временных рядов» (также см. Ниже для Bibtex Ref).

Также найдите документацию здесь.

Из V0.1.0 Autopytorth был обновлен для дальнейшего улучшения удобства использования, надежности и эффективности с помощью SMAC в качестве базового пакета оптимизации, а также изменения структуры кода. Таким образом, переход от V0.0.2 к V0.1.0 нарушит совместимость. Если вы хотели бы использовать старый API, вы можете найти его на master_old .

Рабочий процесс

Грубое описание рабочего процесса Auto-Pytorch приведен на следующем рисунке.

На рисунке данные предоставляются пользователем, а портфель представляет собой набор конфигураций нейронных сетей, которые хорошо работают на различных наборах данных. Текущая версия поддерживает только жадный портфель , как описано в бумаге Auto-Pytorch Tabular: многоцелевое металлическое обучение для эффективного и надежного AutoDL Этот портфель используется для согреваемости оптимизации SMAC. Другими словами, мы оцениваем портфель на предоставленных данных в качестве первоначальных конфигураций. Затем API начинает следующие процедуры:

Проверяйте входные данные : обрабатывайте каждый тип данных, например, категориальные данные кодирования, чтобы Auto-Pytorch мог обрабатывать.
Создайте набор данных : Создайте набор данных, который можно обработать в этом API с выбором перекрестной проверки или расколов.
Оценить базовые линии
- Табличный набор данных *1: Обучите каждый алгоритм в предварительно определенном пуле с фиксированной конфигурацией гиперпараметрического и фиктивной модели от sklearn.dummy , которая представляет собой худшую возможную производительность.
- Набор данных прогнозирования временных рядов : тренировать фиктивного предиктора, который повторяет последнее наблюдаемое значение в каждой серии
Поиск по SMAC :
а Определить бюджет и правила отсечения гипербандом
беременный Образец конфигурации гиперпараметра трубопровода *2 от SMAC
в Обновить наблюдения полученными результатами
дюймовый Повторить а. - c. Пока бюджет не закончится
Создайте лучший ансамбль для предоставленного набора данных из наблюдений и выбора модели ансамбля.

*1: Базовые показатели представляют собой предопределенный пул алгоритмов машинного обучения, например, LightGBM и поддержки векторной машины, для решения задачи регрессии или классификации в предоставленном наборе данных

*2: Конфигурация гиперпараметра трубопровода указывает выбор компонентов, например, алгоритм целевого, форму нейронных сетей, на каждом этапе и (который указывает выбор компонентов на каждом этапе и соответствующие их гиперпараметра.

Установка

Установка PYPI

pip install autoPyTorch

Auto-Pytorch для прогнозирования временных рядов требует дополнительных зависимостей

pip install autoPyTorch[forecasting]

Ручная установка

Мы рекомендуем использовать Anaconda для развития следующим образом:

 # Following commands assume the user is in a cloned directory of Auto-Pytorch

# We also need to initialize the automl_common repository as follows
# You can find more information about this here:
# https://github.com/automl/automl_common/
git submodule update --init --recursive

# Create the environment
conda create -n auto-pytorch python=3.8
conda activate auto-pytorch
conda install swig
python setup.py install

Точно так же, чтобы установить все зависимости для авто-питор-TimeSeriesforeCasting:

git submodule update --init --recursive

conda create -n auto-pytorch python=3.8
conda activate auto-pytorch
conda install swig
pip install -e[forecasting]

Примеры

В двух словах:

 from autoPyTorch . api . tabular_classification import TabularClassificationTask

# data and metric imports
import sklearn . model_selection
import sklearn . datasets
import sklearn . metrics
X , y = sklearn . datasets . load_digits ( return_X_y = True )
X_train , X_test , y_train , y_test = 
        sklearn . model_selection . train_test_split ( X , y , random_state = 1 )

# initialise Auto-PyTorch api
api = TabularClassificationTask ()

# Search for an ensemble of machine learning algorithms
api . search (
    X_train = X_train ,
    y_train = y_train ,
    X_test = X_test ,
    y_test = y_test ,
    optimize_metric = 'accuracy' ,
    total_walltime_limit = 300 ,
    func_eval_time_limit_secs = 50
)

# Calculate test accuracy
y_pred = api . predict ( X_test )
score = api . score ( y_pred , y_test )
print ( "Accuracy score" , score )

Для задач прогнозирования временных рядов

 from autoPyTorch . api . time_series_forecasting import TimeSeriesForecastingTask

# data and metric imports
from sktime . datasets import load_longley
targets , features = load_longley ()

# define the forecasting horizon
forecasting_horizon = 3

# Dataset optimized by APT-TS can be a list of np.ndarray/ pd.DataFrame where each series represents an element in the 
# list, or a single pd.DataFrame that records the series
# index information: to which series the timestep belongs? This id can be stored as the DataFrame's index or a separate
# column
# Within each series, we take the last forecasting_horizon as test targets. The items before that as training targets
# Normally the value to be forecasted should follow the training sets
y_train = [ targets [: - forecasting_horizon ]]
y_test = [ targets [ - forecasting_horizon :]]

# same for features. For uni-variant models, X_train, X_test can be omitted and set as None
X_train = [ features [: - forecasting_horizon ]]
# Here x_test indicates the 'known future features': they are the features known previously, features that are unknown
# could be replaced with NAN or zeros (which will not be used by our networks). If no feature is known beforehand,
# we could also omit X_test
known_future_features = list ( features . columns )
X_test = [ features [ - forecasting_horizon :]]

start_times = [ targets . index . to_timestamp ()[ 0 ]]
freq = '1Y'

# initialise Auto-PyTorch api
api = TimeSeriesForecastingTask ()

# Search for an ensemble of machine learning algorithms
api . search (
    X_train = X_train ,
    y_train = y_train ,
    X_test = X_test , 
    optimize_metric = 'mean_MAPE_forecasting' ,
    n_prediction_steps = forecasting_horizon ,
    memory_limit = 16 * 1024 ,  # Currently, forecasting models use much more memories
    freq = freq ,
    start_times = start_times ,
    func_eval_time_limit_secs = 50 ,
    total_walltime_limit = 60 ,
    min_num_test_instances = 1000 ,  # proxy validation sets. This only works for the tasks with more than 1000 series
    known_future_features = known_future_features ,
)

# our dataset could directly generate sequences for new datasets
test_sets = api . dataset . generate_test_seqs ()

# Calculate test accuracy
y_pred = api . predict ( test_sets )
score = api . score ( y_pred , y_test )
print ( "Forecasting score" , score )

Для получения дополнительных примеров, включая настройку пространства поиска, провале кода и т. Д., Осмотрите папку examples

$ cd examples/

Код для статьи доступен в examples/ensemble в филиале TPAMI.2021.3067763.

Внося

Если вы хотите внести свой вклад в Auto-Pytorch, клонируйте репозиторий и проверьте нашу текущую филиал разработки

$ git checkout development

Лицензия

Эта программа является бесплатным программным обеспечением: вы можете перераспределить его и/или изменить ее в соответствии с условиями Apache License 2.0 (см. Файл лицензии).

Эта программа распространяется в надежде, что она будет полезна, но без каких -либо гарантий; даже без подразумеваемой гарантии торговой точки зрения или пригодности для определенной цели.

Вы должны были получить копию лицензии Apache 2.0 вместе с этой программой (см. Файл лицензии).

Ссылка

Пожалуйста, обратитесь к филиалу TPAMI.2021.3067763 , чтобы воспроизвести бумагу Auto-Pytorch Tabular: многоцелевое металлическое обучение для эффективного и надежного AutoDL .

  @article { zimmer-tpami21a ,
  author = { Lucas Zimmer and Marius Lindauer and Frank Hutter } ,
  title = { Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL } ,
  journal = { IEEE Transactions on Pattern Analysis and Machine Intelligence } ,
  year = { 2021 } ,
  note = { also available under https://arxiv.org/abs/2006.13799 } ,
  pages = { 3079 - 3090 }
}

 @incollection { mendoza-automlbook18a ,
  author    = { Hector Mendoza and Aaron Klein and Matthias Feurer and Jost Tobias Springenberg and Matthias Urban and Michael Burkart and Max Dippel and Marius Lindauer and Frank Hutter } ,
  title     = { Towards Automatically-Tuned Deep Neural Networks } ,
  year      = { 2018 } ,
  month     = dec,
  editor    = { Hutter, Frank and Kotthoff, Lars and Vanschoren, Joaquin } ,
  booktitle = { AutoML: Methods, Sytems, Challenges } ,
  publisher = { Springer } ,
  chapter   = { 7 } ,
  pages     = { 141--156 }
}

 @article { deng-ecml22 ,
  author    = { Difan Deng and Florian Karl and Frank Hutter and Bernd Bischl and Marius Lindauer } ,
  title     = { Efficient Automated Deep Learning for Time Series Forecasting } ,
  year      = { 2022 } ,
  booktitle = { Machine Learning and Knowledge Discovery in Databases. Research Track
               - European Conference, {ECML} {PKDD} 2022 } ,
  url       = { https://doi.org/10.48550/arXiv.2205.05511 } ,
}