komputation

Komputation

Kompation est un cadre de réseau neuronal pour la machine virtuelle Java écrite à Kotlin et Cuda C.

Maven

KOMPUTA est disponible via Maven Central:

< dependency >
    < groupId >com.komputation</ groupId >
    < artifactId >komputation</ artifactId >
    < version >0.12.5</ version >
</ dependency >

Couches

• Points d'entrée:

  • Saisir
  • Chercher

• Réseaux d'alimentation standard:

  • Pondération
  • Biais
  • Projection
  • Dense

• Réseaux de neurones convolutionnels (CNNS):

  • Convolution
  • Pool à maximum

• Réseaux de neurones récurrents:

  • Couche récurrente
  • Couche récurrente bidirectionnelle

• Abandonner

• Fonctions d'activation:

  • Identité
  • Unités linéaires rectifiées (reus)
  • Sigmoïde
  • Maxa
  • Tanh

• Autres couches:

  • Empiler
  • Exponentiation
  • Normalisation

Démos du processeur

• Fonctions booléennes:

  • ET
  • PAS
  • Xor

• Total:

  • Longueur fixe
  • Longueur variable

• Total de course:

  • Gauche à droite:
    • Longueur fixe
    • Longueur variable
  • Droit à gauche:
    • Longueur fixe
    • Longueur variable
  • Bidirectionnel:
    • Longueur fixe
    • Longueur variable

• Incrément:

  • Une couche
  • Deux couches

• Mot d'intégration du problème du jouet:

  • Réseau d'alimentation
  • CNN avec une largeur de filtre
  • CNN avec deux largeurs de filtre

• Problème de jouet d'étiquetage de séquence

• Problème de jouet de vision par ordinateur

• MNIST:

  • Minimal
  • Abandonner

• TREC:

  • Une largeur de filtre
  • Deux largeurs de filtre

Démos GPU / CUDA

• Fonctions booléennes:

  • ET
  • Négation
  • Xor

• Mot d'intégration du problème du jouet:

  • Réseau d'alimentation
  • CNN avec une largeur de filtre
  • CNN avec deux largeurs de filtre

• Total:

  • Longueur fixe

• Incrément:

  • Une couche
  • Deux couches

• MNIST:

  • Minimal
  • Abandonner

• TREC:

  • Une largeur de filtre
  • Deux largeurs de filtre

Exemple de code

Le code suivant instancie un réseau neuronal convolutionnel accéléré par le GPU pour la classification des phrases:

    val sentenceClassifier = cudaNetwork(
        batchSize,
        lookup(embeddings, maximumDocumentLength, embeddingDimension, optimization),
        convolution(numberFilters, filterWidth, filterHeight, initialization, optimization),
        relu(),
        dropout(random, keepProbability),
        dense(numberCategories, Activation . Softmax , initialization, optimization)
    )

Voir la démo TREC pour plus de détails.

Initialisation

• Fourni
• Constante
• Gaussien
• Il
• Identité
• Uniforme
• Zéro

Fonctions de perte

• Perte d'entropie
• Perte
• Perte au carré

Optimisation

• Descente de gradient stochastique
• Historique:
  • Élan
  • Gradient accéléré de Nesterov
• Adaptatif:
  • Adagrad
  • Adadelta
  • Rmsprop
  • Adam