atomgrad

Atomgrad

Atomgrad adalah mesin autograd sederhana yang bertujuan antara micrograd dan tinygrad yang melakukan autodiff pada tensor (atom) bernilai vektor dan skalar (atom) ditambah dengan perpustakaan API jaringan saraf.

Fitur

• Mendukung tensor bernilai vektor-vektor dan bernilai skalar.
• Mendukung Ops Unary Dasar, OP Biner, Mengurangi OPS dan OP Gerakan IE (Activn Funcs, sum , exp , reshape , randint , uniform , dll).
• Mendukung fungsi aktivasi seperti relu , sigmoid , tanh , dll.
• Mendukung binary_cross_entropy & binary_accuracy .
• Mendukung visualisasi grafik.

Instalasi

Anda dapat menginstal Atomgrad menggunakan PIP:

pip install atomgrad==0.3.0

Penggunaan

Berikut adalah contoh sederhana menggunakan Atomgrad untuk menghitung gradien fungsi:

 from atomgrad . atom import Atom
from atomgrad . graph import draw_dot


# create two tensors with gradients enabled
x = Atom ( 2.0 , requires_grad = True )
y = Atom ( 3.0 , requires_grad = True )

# define a function
z = x * y + x ** 2

# compute the backward pass
z . backward ()

# print the gradients
print ( x . grad ) # 7.0
print ( y . grad ) # 2.0

draw_dot ( z )

Berikut adalah contoh sederhana menggunakan Atomgrad untuk melatih jaringan saraf lapisan tersembunyi satu 16-simpul untuk klasifikasi biner.

 import numpy as np
from atomgrad . atom import Atom
from atomgrad . nn import AtomNet , Layer
from atomgrad . optim import SGD
from atomgrad . metrics import binary_cross_entropy , binary_accuracy

# create a model
model = AtomNet (
  Layer ( 2 , 16 ),
  Layer ( 16 , 16 ),
  Layer ( 16 , 1 )
)
# create an optimizer
optim = SGD ( model . parameters (), lr = 0.01 )

# load some data
x = [[ 2.0 , 3.0 , - 1.0 ],
  [ 3.0 , - 1.0 , 0.5 ],
  [ 0.5 , 1.0 , 1.0 ],
  [ 1.0 , 1.0 , - 1.0 ],
  [ 0.0 , 4.0 , 0.5 ],
  [ 3.0 , - 1.0 , 0.5 ]]
y = [ 1 , 1 , 0 , 1 , 0 , 1 ]

x = Atom ( x )
y = Atom ( y )

model . fit ( x , y , optim , binary_cross_entropy , binary_accuracy , epochs = 100 )

#output
'''
...
epoch: 30 | loss: 0.14601783454418182  | accuracy: 100.0%
epoch: 35 | loss: 0.11600304394960403  | accuracy: 100.0%
epoch: 40 | loss: 0.09604986757040024  | accuracy: 100.0%
epoch: 45 | loss: 0.0816292017698288  | accuracy: 100.0%
''' 

Demo

Contoh autodiff sederhana dan empat pengklasifikasi biner termasuk dataset make_moons dan Dataset Digit MNIST ada di examples/demos.ipynb Notebook.

Catatan: Meskipun atom.nn termasuk aktivasi softmax dan cat_cross_entropy , hasil model cukup kecewa dan kemungkinan karena beberapa bug (tlz LMK jika Anda menemukannya!). Akibatnya model AtomNet paling cocok untuk tugas neural klasifikasi biner.

Pengakuan

• Micrograd untuk ide dan menyambung semua orang!
• Tinygrad
• Robingrad