komputation

Komputation

Komputation เป็นกรอบเครือข่ายประสาทสำหรับเครื่องเสมือน Java ที่เขียนใน Kotlin และ Cuda C.

หนอง

Komputation มีให้บริการผ่าน Maven Central:

< dependency >
    < groupId >com.komputation</ groupId >
    < artifactId >komputation</ artifactId >
    < version >0.12.5</ version >
</ dependency >

ชั้น

• จุดเริ่มต้น:

  • ป้อนข้อมูล
  • การค้นหา

• เครือข่ายฟีดไปข้างหน้ามาตรฐาน:

  • การถ่วงน้ำหนัก
  • อคติ
  • การฉายภาพ
  • หนาแน่น

• เครือข่ายประสาท Convolutional (CNNS):

  • การสานต่อ
  • การตักสูงสุด

• เครือข่ายประสาทกำเริบ:

  • เลเยอร์กำเริบ
  • เลเยอร์กำเริบแบบสองทิศทาง

• การออกกลางคัน

• ฟังก์ชั่นการเปิดใช้งาน:

  • ตัวตน
  • หน่วยเชิงเส้นที่แก้ไขแล้ว (RELUS)
  • sigmoid
  • ซอฟต์แม็กซ์
  • ตาน

• ชั้นอื่น ๆ :

  • กองซ้อน
  • การขยาย
  • การทำให้เป็นมาตรฐาน

การสาธิต CPU

• ฟังก์ชั่นบูลีน:

  • และ
  • ไม่
  • Xor

• ทั้งหมด:

  • ความยาวคงที่
  • ความยาวตัวแปร

• ทำงานทั้งหมด:

  • จากซ้ายไปขวา:
    • ความยาวคงที่
    • ความยาวตัวแปร
  • ขวาไปซ้าย:
    • ความยาวคงที่
    • ความยาวตัวแปร
  • สองทิศทาง:
    • ความยาวคงที่
    • ความยาวตัวแปร

• เพิ่ม:

  • หนึ่งชั้น
  • สองชั้น

• ปัญหาการฝังของเล่นของเล่น:

  • เครือข่ายฟีดไปข้างหน้า
  • CNN ที่มีความกว้างตัวกรองหนึ่งตัว
  • CNN ที่มีสองความกว้างของตัวกรอง

• ปัญหาการติดฉลากของเล่น

• ปัญหาของเล่นวิสัยทัศน์คอมพิวเตอร์

• MNIST:

  • น้อยที่สุด
  • การออกกลางคัน

• TREC:

  • ความกว้างหนึ่งตัวกรอง
  • สองความกว้างของตัวกรอง

การสาธิต GPU/CUDA

• ฟังก์ชั่นบูลีน:

  • และ
  • การปฏิเสธ
  • Xor

• ปัญหาการฝังของเล่นของเล่น:

  • เครือข่ายฟีดไปข้างหน้า
  • CNN ที่มีความกว้างตัวกรองหนึ่งตัว
  • CNN ที่มีสองความกว้างของตัวกรอง

• ทั้งหมด:

  • ความยาวคงที่

• เพิ่ม:

  • หนึ่งชั้น
  • สองชั้น

• MNIST:

  • น้อยที่สุด
  • การออกกลางคัน

• TREC:

  • ความกว้างหนึ่งตัวกรอง
  • สองความกว้างของตัวกรอง

รหัสตัวอย่าง

รหัสต่อไปนี้ได้สร้างเครือข่ายประสาทสัมผัสที่เร่งด้วย GPU สำหรับการจำแนกประโยค:

    val sentenceClassifier = cudaNetwork(
        batchSize,
        lookup(embeddings, maximumDocumentLength, embeddingDimension, optimization),
        convolution(numberFilters, filterWidth, filterHeight, initialization, optimization),
        relu(),
        dropout(random, keepProbability),
        dense(numberCategories, Activation . Softmax , initialization, optimization)
    )

ดูการสาธิต TREC สำหรับรายละเอียดเพิ่มเติม

การเริ่มต้น

• ที่ให้ไว้
• คงที่
• ชาวเกาส์
• เขา
• ตัวตน
• เครื่องแบบ
• ศูนย์

ฟังก์ชั่นการสูญเสีย

• การสูญเสียข้ามจุด
• การสูญเสียโลจิสติกส์
• การสูญเสียกำลังสอง

การเพิ่มประสิทธิภาพ

• โคตรการไล่ระดับสีแบบสุ่ม
• ประวัติศาสตร์:
  • แรงผลักดัน
  • การไล่ระดับสีเร่งของ Nesterov
• ปรับตัว:
  • Adagrad
  • Adadelta
  • RMSPROP
  • อดัม