frugally deep

экономно-глубокий

Легко используйте модели Keras на C++

Оглавление

• Введение
• Использование
• Требования и установка
• Часто задаваемые вопросы

Введение

Хотели бы вы построить/обучить модель с помощью Keras/Python? Хотели бы вы выполнить прогнозирование (прямой проход) для вашей модели на C++, не связывая свое приложение с TensorFlow? Тогда экономно-глубокий вариант именно для вас.

экономно-глубокий

• — небольшая библиотека только для заголовков, написанная на современном чистом C++.
• очень легко интегрировать и использовать.
• зависит только от FunctionalPlus, Eigen и json, а также от библиотек только заголовков.
• поддерживает вывод ( model.predict ) не только для последовательных моделей, но и для вычислительных графов с более сложной топологией, созданных с помощью функционального API.
• повторно реализует (небольшое) подмножество TensorFlow, т. е. операции, необходимые для поддержки прогнозирования.
• приводит к гораздо меньшему двоичному размеру, чем при связывании с TensorFlow.
• работает «из коробки» также при компиляции в 32-битный исполняемый файл. (Конечно, 64-битная версия тоже подойдет.)
• позволяет избежать временного выделения (потенциально больших фрагментов) дополнительной оперативной памяти во время сверток (путем не материализации входной матрицы im2col).
• полностью игнорирует даже самый мощный графический процессор в вашей системе и использует только одно ядро ​​процессора для каждого прогноза. ;-)
• но он довольно быстр на одном ядре ЦП, и вы можете выполнять несколько прогнозов параллельно, используя таким образом столько ЦП, сколько захотите, чтобы улучшить общую пропускную способность прогнозирования вашего приложения/конвейера.

Поддерживаемые типы слоев

• Add , Concatenate , Subtract , Multiply , Average , Maximum , Minimum , Dot
• AveragePooling1D/2D/3D , GlobalAveragePooling1D/2D/3D
• TimeDistributed
• Conv1D/2D , SeparableConv2D , DepthwiseConv2D
• Cropping1D/2D/3D , ZeroPadding1D/2D/3D , CenterCrop
• BatchNormalization , Dense , Flatten , Normalization
• Dropout , AlphaDropout , GaussianDropout , GaussianNoise
• SpatialDropout1D , SpatialDropout2D , SpatialDropout3D
• ActivityRegularization , LayerNormalization , UnitNormalization
• RandomContrast , RandomFlip , RandomHeight
• RandomRotation , RandomTranslation , RandomWidth , RandomZoom
• MaxPooling1D/2D/3D , GlobalMaxPooling1D/2D/3D
• ELU , LeakyReLU , ReLU , SeLU , PReLU
• Sigmoid , Softmax , Softplus , Tanh
• Exponential , GELU , Softsign , Rescaling
• UpSampling1D/2D , Resizing
• Reshape , Permute , RepeatVector
• Embedding , CategoryEncoding
• Attention , AdditiveAttention , MultiHeadAttention

Также поддерживается

• несколько входов и выходов
• вложенные модели
• остаточные связи
• общие слои
• переменные формы ввода
• произвольные сложные архитектуры моделей/вычислительные графы
• пользовательские слои (путем передачи пользовательских фабричных функций в load_model )

В настоящее время не поддерживаются следующие:

Conv2DTranspose (почему), Lambda (почему), Conv3D , ConvLSTM1D , ConvLSTM2D , Discretization , GRUCell , Hashing , IntegerLookup , LocallyConnected1D , LocallyConnected2D , LSTMCell , Masking , RepeatVector , RNN , SimpleRNN , SimpleRNNCell , StackedRNNCells , StringLookup , TextVectorization , Bidirectional , GRU , LSTM , CuDNNGRU , CuDNNLSTM , ThresholdedReLU , Upsampling3D , temporal модели

Использование

1. Используйте Keras/Python для построения ( model.compile(...) ), обучения ( model.fit(...) ) и тестирования ( model.evaluate(...) ) вашей модели как обычно. Затем сохраните его в один файл, используя model.save('....keras') . image_data_format в вашей модели должен быть channels_last , который используется по умолчанию при использовании бэкэнда TensorFlow. Модели, созданные с другим image_data_format и другими серверными модулями, не поддерживаются.

2. Теперь преобразуйте его в экономичный формат файла с помощью keras_export/convert_model.py

3. Наконец загрузите его на C++ ( fdeep::load_model(...) ) и используйте model.predict(...) для вызова прямого прохода с вашими данными.

Следующий минимальный пример демонстрирует полный рабочий процесс:

 # create_model.py
import numpy as np
from tensorflow . keras . layers import Input , Dense
from tensorflow . keras . models import Model

inputs = Input ( shape = ( 4 ,))
x = Dense ( 5 , activation = 'relu' )( inputs )
predictions = Dense ( 3 , activation = 'softmax' )( x )
model = Model ( inputs = inputs , outputs = predictions )
model . compile ( loss = 'categorical_crossentropy' , optimizer = 'nadam' )

model . fit (
    np . asarray ([[ 1 , 2 , 3 , 4 ], [ 2 , 3 , 4 , 5 ]]),
    np . asarray ([[ 1 , 0 , 0 ], [ 0 , 0 , 1 ]]), epochs = 10 )

model . save ( 'keras_model.keras' )

python3 keras_export/convert_model.py keras_model.keras fdeep_model.json

 // main.cpp
# include < fdeep/fdeep.hpp >
int main ()
{
    const auto model = fdeep::load_model ( " fdeep_model.json " );
    const auto result = model. predict (
        { fdeep::tensor ( fdeep::tensor_shape ( static_cast <std:: size_t >( 4 )),
        std::vector< float >{ 1 , 2 , 3 , 4 })});
    std::cout << fdeep::show_tensors (result) << std::endl;
}

При использовании convert_model.py тестовый пример (входные и соответствующие выходные значения) генерируется автоматически и сохраняется вместе с вашей моделью. fdeep::load_model запускает этот тест, чтобы убедиться, что результаты прямого прохода в бережливой глубине такие же, как в Keras.

Дополнительные примеры интеграции можно найти в FAQ.

Требования и установка

• Компилятор, совместимый с C++14 : компиляторы следующих версий подходят: GCC 4.9, Clang 3.7 (libc++ 3.7) и Visual C++ 2015.
• Питон 3.7 или выше
• TensorFlow 2.17 (это протестированные версии, но могут работать и более старые версии).

Руководства по различным способам экономичной и глубокой установки можно найти в INSTALL.md .

Часто задаваемые вопросы

См FAQ.md

Отказ от ответственности

API этой библиотеки может измениться в будущем. Если у вас есть какие-либо предложения, вы нашли ошибки или хотите дать общий отзыв/критику, я буду рад услышать ваше мнение. Конечно, вклады также очень приветствуются.

Лицензия

Распространяется по лицензии MIT. (См. прилагаемый файл LICENSE или https://opensource.org/licenses/MIT)