komputation

kompain

Kompoint是用Kotlin和CudaC編寫的Java虛擬機的神經網絡框架。

小牛

可通過Maven Central提供Kompoint：

< dependency >
    < groupId >com.komputation</ groupId >
    < artifactId >komputation</ artifactId >
    < version >0.12.5</ version >
</ dependency >

層

• 入口點：

  • 輸入
  • 抬頭

• 標準饋送網絡：

  • 加權
  • 偏見
  • 投影
  • 稠密

• 卷積神經網絡（CNN）：

  • 卷積
  • 最大流動

• 經常性神經網絡：

  • 復發層
  • 雙向復發層

• 輟學

• 激活功能：

  • 身份
  • 整流線性單元（relus）
  • 乙狀結腸
  • SoftMax
  • Tanh

• 其他層：

  • 堆
  • 凸起
  • 正常化

CPU演示

• 布爾功能：

  • 和
  • 不是
  • XOR

• 全部的：

  • 固定長度
  • 可變長度

• 運行總計：

  • 從右到右：
    • 固定長度
    • 可變長度
  • 左右：
    • 固定長度
    • 可變長度
  • 雙向：
    • 固定長度
    • 可變長度

• 增量：

  • 一層
  • 兩層

• 單詞嵌入玩具問題：

  • 饋送網絡
  • CNN具有一個濾波器寬度
  • CNN具有兩個濾波器寬度

• 序列標記玩具問題

• 計算機視覺玩具問題

• mnist：

  • 最小
  • 輟學

• TREC：

  • 一個過濾器寬度
  • 兩個濾波器寬度

GPU/CUDA演示

• 布爾功能：

  • 和
  • 否定
  • XOR

• 單詞嵌入玩具問題：

  • 饋送網絡
  • CNN具有一個濾波器寬度
  • CNN具有兩個濾波器寬度

• 全部的：

  • 固定長度

• 增量：

  • 一層
  • 兩層

• mnist：

  • 最小
  • 輟學

• TREC：

  • 一個過濾器寬度
  • 兩個濾波器寬度

示例代碼

以下代碼實例化了用於句子分類的GPU加速卷積神經網絡：

    val sentenceClassifier = cudaNetwork(
        batchSize,
        lookup(embeddings, maximumDocumentLength, embeddingDimension, optimization),
        convolution(numberFilters, filterWidth, filterHeight, initialization, optimization),
        relu(),
        dropout(random, keepProbability),
        dense(numberCategories, Activation . Softmax , initialization, optimization)
    )

有關更多詳細信息，請參見TREC演示。

初始化

• 假如
• 持續的
• 高斯
• 他
• 身份
• 制服
• 零

損失功能

• 橫向損失
• 邏輯損失
• 平方損失

最佳化

• 隨機梯度下降
• 歷史：
  • 勢頭
  • Nesterov的加速梯度
• 自適應：
  • Adagrad
  • 阿達德爾塔
  • RMSPROP
  • 亞當