komputation

kompain

Kompoint是用Kotlin和CudaC编写的Java虚拟机的神经网络框架。

小牛

可通过Maven Central提供Kompoint：

< dependency >
    < groupId >com.komputation</ groupId >
    < artifactId >komputation</ artifactId >
    < version >0.12.5</ version >
</ dependency >

层

• 入口点：

  • 输入
  • 抬头

• 标准馈送网络：

  • 加权
  • 偏见
  • 投影
  • 稠密

• 卷积神经网络（CNN）：

  • 卷积
  • 最大流动

• 经常性神经网络：

  • 复发层
  • 双向复发层

• 辍学

• 激活功能：

  • 身份
  • 整流线性单元（relus）
  • 乙状结肠
  • SoftMax
  • Tanh

• 其他层：

  • 堆
  • 凸起
  • 正常化

CPU演示

• 布尔功能：

  • 和
  • 不是
  • XOR

• 全部的：

  • 固定长度
  • 可变长度

• 运行总计：

  • 从右到右：
    • 固定长度
    • 可变长度
  • 左右：
    • 固定长度
    • 可变长度
  • 双向：
    • 固定长度
    • 可变长度

• 增量：

  • 一层
  • 两层

• 单词嵌入玩具问题：

  • 馈送网络
  • CNN具有一个滤波器宽度
  • CNN具有两个滤波器宽度

• 序列标记玩具问题

• 计算机视觉玩具问题

• mnist：

  • 最小
  • 辍学

• TREC：

  • 一个过滤器宽度
  • 两个滤波器宽度

GPU/CUDA演示

• 布尔功能：

  • 和
  • 否定
  • XOR

• 单词嵌入玩具问题：

  • 馈送网络
  • CNN具有一个滤波器宽度
  • CNN具有两个滤波器宽度

• 全部的：

  • 固定长度

• 增量：

  • 一层
  • 两层

• mnist：

  • 最小
  • 辍学

• TREC：

  • 一个过滤器宽度
  • 两个滤波器宽度

示例代码

以下代码实例化了用于句子分类的GPU加速卷积神经网络：

    val sentenceClassifier = cudaNetwork(
        batchSize,
        lookup(embeddings, maximumDocumentLength, embeddingDimension, optimization),
        convolution(numberFilters, filterWidth, filterHeight, initialization, optimization),
        relu(),
        dropout(random, keepProbability),
        dense(numberCategories, Activation . Softmax , initialization, optimization)
    )

有关更多详细信息，请参见TREC演示。

初始化

• 假如
• 持续的
• 高斯
• 他
• 身份
• 制服
• 零

损失功能

• 横向损失
• 逻辑损失
• 平方损失

优化

• 随机梯度下降
• 历史：
  • 势头
  • Nesterov的加速梯度
• 自适应：
  • Adagrad
  • 阿达德尔塔
  • RMSPROP
  • 亚当