frugally deep

sparsam-tief

Verwenden Sie Keras-Modelle problemlos in C++

Inhaltsverzeichnis

• Einführung
• Verwendung
• Anforderungen und Installation
• FAQ

Einführung

Möchten Sie ein Modell mit Keras/Python erstellen/trainieren? Und möchten Sie die Vorhersage (Vorwärtsdurchlauf) für Ihr Modell in C++ ausführen, ohne Ihre Anwendung mit TensorFlow zu verknüpfen? Dann ist frugally-deep genau das Richtige für Sie.

sparsam-tief

• ist eine kleine reine Header-Bibliothek, die in modernem und reinem C++ geschrieben ist.
• ist sehr einfach zu integrieren und zu verwenden.
• Hängt nur von FunctionalPlus, Eigen und JSON ab – ebenfalls nur Header-Bibliotheken.
• unterstützt Inferenz ( model.predict ) nicht nur für sequentielle Modelle, sondern auch für Rechendiagramme mit einer komplexeren Topologie, die mit der funktionalen API erstellt wurden.
• implementiert eine (kleine) Teilmenge von TensorFlow erneut, dh die zur Unterstützung der Vorhersage erforderlichen Operationen.
• führt zu einer viel kleineren Binärgröße als die Verknüpfung mit TensorFlow.
• Funktioniert sofort, auch wenn es in eine ausführbare 32-Bit-Datei kompiliert wird. (Natürlich ist auch 64 Bit in Ordnung.)
• vermeidet die vorübergehende Zuweisung (potenziell großer Teile) von zusätzlichem RAM während Faltungen (indem die im2col-Eingabematrix nicht materialisiert wird).
• ignoriert selbst die leistungsstärkste GPU in Ihrem System völlig und verwendet nur einen CPU-Kern pro Vorhersage. ;-)
• ist aber auf einem CPU-Kern recht schnell, und Sie können mehrere Vorhersagen parallel ausführen und so so viele CPUs nutzen, wie Sie möchten, um den gesamten Vorhersagedurchsatz Ihrer Anwendung/Pipeline zu verbessern.

Unterstützte Layertypen

• Add , Concatenate , Subtract , Multiply , Average , Maximum , Minimum , Dot
• AveragePooling1D/2D/3D , GlobalAveragePooling1D/2D/3D
• TimeDistributed
• Conv1D/2D , SeparableConv2D , DepthwiseConv2D
• Cropping1D/2D/3D , ZeroPadding1D/2D/3D , CenterCrop
• BatchNormalization , Dense , Flatten , Normalization
• Dropout , AlphaDropout , GaussianDropout , GaussianNoise
• SpatialDropout1D , SpatialDropout2D , SpatialDropout3D
• ActivityRegularization , LayerNormalization , UnitNormalization
• RandomContrast , RandomFlip , RandomHeight
• RandomRotation , RandomTranslation , RandomWidth , RandomZoom
• MaxPooling1D/2D/3D , GlobalMaxPooling1D/2D/3D
• ELU , LeakyReLU , ReLU , SeLU , PReLU
• Sigmoid , Softmax , Softplus , Tanh
• Exponential , GELU , Softsign , Rescaling
• UpSampling1D/2D , Resizing
• Reshape , Permute , RepeatVector
• Embedding , CategoryEncoding
• Attention , AdditiveAttention , MultiHeadAttention

Auch unterstützt

• mehrere Ein- und Ausgänge
• verschachtelte Modelle
• Restverbindungen
• Gemeinsame Ebenen
• Variable Eingabeformen
• beliebige komplexe Modellarchitekturen / Rechengraphen
• Benutzerdefinierte Ebenen (durch Übergabe benutzerdefinierter Factory-Funktionen an load_model )

Folgendes wird derzeit nicht unterstützt:

Conv2DTranspose (warum), Lambda (warum), Conv3D , ConvLSTM1D , ConvLSTM2D , Discretization , GRUCell , Hashing , IntegerLookup , LocallyConnected1D , LocallyConnected2D , LSTMCell , Masking , RepeatVector , RNN , SimpleRNN , SimpleRNNCell , StackedRNNCells , StringLookup , TextVectorization , Bidirectional , GRU , LSTM , CuDNNGRU , CuDNNLSTM , ThresholdedReLU , Upsampling3D , temporal Modelle

Verwendung

1. Verwenden Sie Keras/Python, um Ihr Modell wie gewohnt zu erstellen ( model.compile(...) ), zu trainieren ( model.fit(...) ) und zu testen ( model.evaluate(...) ). Speichern Sie es dann mit model.save('....keras') in einer einzelnen Datei. Das image_data_format in Ihrem Modell muss channels_last sein. Dies ist die Standardeinstellung bei Verwendung des TensorFlow-Backends. Modelle, die mit einem anderen image_data_format und anderen Backends erstellt wurden, werden nicht unterstützt.

2. Konvertieren Sie es nun mit keras_export/convert_model.py in das sparsam tiefe Dateiformat

3. Laden Sie es schließlich in C++ ( fdeep::load_model(...) ) und verwenden Sie model.predict(...) um einen Vorwärtsdurchlauf mit Ihren Daten aufzurufen.

Das folgende Minimalbeispiel zeigt den vollständigen Workflow:

 # create_model.py
import numpy as np
from tensorflow . keras . layers import Input , Dense
from tensorflow . keras . models import Model

inputs = Input ( shape = ( 4 ,))
x = Dense ( 5 , activation = 'relu' )( inputs )
predictions = Dense ( 3 , activation = 'softmax' )( x )
model = Model ( inputs = inputs , outputs = predictions )
model . compile ( loss = 'categorical_crossentropy' , optimizer = 'nadam' )

model . fit (
    np . asarray ([[ 1 , 2 , 3 , 4 ], [ 2 , 3 , 4 , 5 ]]),
    np . asarray ([[ 1 , 0 , 0 ], [ 0 , 0 , 1 ]]), epochs = 10 )

model . save ( 'keras_model.keras' )

python3 keras_export/convert_model.py keras_model.keras fdeep_model.json

 // main.cpp
# include < fdeep/fdeep.hpp >
int main ()
{
    const auto model = fdeep::load_model ( " fdeep_model.json " );
    const auto result = model. predict (
        { fdeep::tensor ( fdeep::tensor_shape ( static_cast <std:: size_t >( 4 )),
        std::vector< float >{ 1 , 2 , 3 , 4 })});
    std::cout << fdeep::show_tensors (result) << std::endl;
}

Bei Verwendung convert_model.py wird automatisch ein Testfall (Eingabe- und entsprechende Ausgabewerte) generiert und zusammen mit Ihrem Modell gespeichert. fdeep::load_model führt diesen Test aus, um sicherzustellen, dass die Ergebnisse eines Vorwärtsdurchlaufs in frugally-deep die gleichen sind wie in Keras.

Weitere Integrationsbeispiele finden Sie in den FAQ.

Anforderungen und Installation

• Ein C++14- kompatibler Compiler: Compiler ab diesen Versionen sind in Ordnung: GCC 4.9, Clang 3.7 (libc++ 3.7) und Visual C++ 2015
• Python 3.7 oder höher
• TensorFlow 2.17 (Dies sind die getesteten Versionen, aber etwas ältere könnten auch funktionieren.)

Anleitungen für verschiedene Möglichkeiten der sparsamen Tiefeninstallation finden Sie in INSTALL.md .

FAQ

Siehe FAQ.md

Haftungsausschluss

Die API dieser Bibliothek könnte sich in Zukunft noch ändern. Wenn Sie Anregungen haben, Fehler finden oder allgemeines Feedback/Kritik abgeben möchten, freue ich mich über Ihre Nachricht. Natürlich sind auch Beiträge herzlich willkommen.

Lizenz

Verteilt unter der MIT-Lizenz. (Siehe Begleitdatei LICENSE oder unter https://opensource.org/licenses/MIT)