komputation

Komputation

Komputation ist ein neuronales Netzwerk -Framework für die in Kotlin und Cuda C. geschriebene Java Virtual Machine

Maven

Komputation ist über Maven Central erhältlich:

< dependency >
    < groupId >com.komputation</ groupId >
    < artifactId >komputation</ artifactId >
    < version >0.12.5</ version >
</ dependency >

Schichten

• Einstiegspunkte:

  • Eingang
  • Nachschlagen

• Standard-Feed-Forward-Netzwerke:

  • Gewichtung
  • Voreingenommenheit
  • Vorsprung
  • Dicht

• Faltungsnetzwerke (CNNs): Faltungsnetze:

  • Faltung
  • Max-Pooling

• Wiederkehrende neuronale Netzwerke:

  • Wiederkehrende Schicht
  • Bidirektionale wiederkehrende Schicht

• Ausfallen

• Aktivierungsfunktionen:

  • Identität
  • Behobene lineare Einheiten (Relus)
  • Sigmoid
  • Softmax
  • Tanh

• Andere Schichten:

  • Stapel
  • Exponentiation
  • Normalisierung

CPU -Demos

• Boolesche Funktionen:

  • UND
  • NICHT
  • Xor

• Gesamt:

  • Feste Länge
  • Variable Länge

• Laufen insgesamt:

  • Links nach rechts:
    • Feste Länge
    • Variable Länge
  • Recht nach links:
    • Feste Länge
    • Variable Länge
  • Bidirektional:
    • Feste Länge
    • Variable Länge

• Inkrement:

  • Eine Schicht
  • Zwei Schichten

• Word -Einbettungsspielzeugproblem:

  • Feed-Forward-Netzwerk
  • CNN mit einer Filterbreite
  • CNN mit zwei Filterbreiten

• Spielzeugproblem mit Sequenzbezeichnung

• Computer Vision Spielzeugproblem

• MNIST:

  • Minimal
  • Ausfallen

• TREC:

  • Eine Filterbreite
  • Zwei Filterbreiten

GPU/CUDA -Demos

• Boolesche Funktionen:

  • UND
  • Negation
  • Xor

• Word -Einbettungsspielzeugproblem:

  • Feed-Forward-Netzwerk
  • CNN mit einer Filterbreite
  • CNN mit zwei Filterbreiten

• Gesamt:

  • Feste Länge

• Inkrement:

  • Eine Schicht
  • Zwei Schichten

• MNIST:

  • Minimal
  • Ausfallen

• TREC:

  • Eine Filterbreite
  • Zwei Filterbreiten

Beispielcode

Der folgende Code instanziiert einen GPU-bewerteten Faltungsnetz für die Satzklassifizierung:

    val sentenceClassifier = cudaNetwork(
        batchSize,
        lookup(embeddings, maximumDocumentLength, embeddingDimension, optimization),
        convolution(numberFilters, filterWidth, filterHeight, initialization, optimization),
        relu(),
        dropout(random, keepProbability),
        dense(numberCategories, Activation . Softmax , initialization, optimization)
    )

Weitere Informationen finden Sie in der TREC -Demo.

Initialisierung

• Bereitgestellt
• Konstante
• Gaußscher
• Er
• Identität
• Uniform
• Null

Verlustfunktionen

• Querentropieverlust
• Logistischer Verlust
• Quadratischer Verlust

Optimierung

• Stochastischer Gradientenabstieg
• Historisch:
  • Schwung
  • Nesterovs beschleunigter Gradient
• Adaptiv:
  • Adagrad
  • Adadelta
  • RMSProp
  • Adam