llama node

Node llama

Llama-Node: Perpustakaan Node.js untuk Model Bahasa Besar

Dokumentasi resmi

_{Gambar yang dihasilkan oleh difusi yang stabil.}

---

• Node llama
  • Perkenalan
    • Model yang didukung
    • Platform yang didukung
  • Instalasi
  • Kompilasi manual
  • Dukungan Cuda
  • Ucapan Terima Kasih
    • Ketergantungan Model/Inferencing Alat
    • Beberapa kode sumber berasal
  • Masyarakat

---

Perkenalan

Proyek ini sedang dalam tahap awal dan tidak siap produksi, kami tidak mengikuti versi semantik. API untuk NodeJs dapat berubah di masa depan, menggunakannya dengan hati -hati.

Ini adalah perpustakaan NodeJS untuk menyimpulkan model turunan Llama, RWKV atau Llama. Itu dibangun di atas LLM (awalnya Llama-RS), llama.cpp dan rwkv.cpp. Ini menggunakan NAPI-RS untuk pesan saluran antara utas Node.js dan Llama.

Model yang didukung

Llama.cpp Backend Model yang Didukung (dalam format GGML):

• Llama?
• Alpaca
• Gpt4all
• Llama / alpaca Cina
• Vigogne (Prancis)
• Vicuna
• Koala
• OpenBuddy? (Multibahasa)
• Pygmalion 7b / metarme 7b

LLM (LLAMA-RS) Model yang Didukung Backend (dalam format GGML):

• GPT-2
• Gpt-j
• Llama: llama, alpaca, vicuna, koala, gpt4all v1, gpt4-x, wizard
• GPT-NEOX: GPT-NEOX, Stablelm, Redpajama, Dolly V2
• Bloom: Bloomz

RWKV.CPP Backend Model yang Didukung (dalam format GGML):

• Rwkv

Platform yang didukung

• Darwin-X64
• Darwin-Arm64
• Linux-X64-GNU (GLIBC> = 2.31)
• Linux-X64-Musl
• Win32-X64-MSVC

Versi Node.js:> = 16

---

Instalasi

• Instal Paket NPM Llama-Node

npm install llama-node

• Instal siapa pun dari cadangan inferensi (setidaknya satu)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • atau llm

  npm install @llama-node/core

  • atau rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

Kompilasi manual

Silakan lihat bagaimana memulai dengan kompilasi manual pada panduan kontribusi kami

---

Dukungan Cuda

Harap baca dokumen di situs kami untuk memulai dengan kompilasi manual yang terkait dengan dukungan CUDA

---

Ucapan Terima Kasih

Perpustakaan ini diterbitkan di bawah lisensi MIT/APACHE-2.0. Namun, kami sangat menyarankan Anda untuk mengutip pekerjaan kami/Ketergantungan kami bekerja jika Anda ingin menggunakan kembali kode dari perpustakaan ini.

Ketergantungan Model/Inferencing Alat

• Model Llama: FacebookResearch/llama
• Model RWKV: Blinkdl/RWKV-LM
• llama.cpp: ggreganov/llama.cpp
• LLM: RustFormers/LLM
• rwkv.cpp: Saharnooby/rwkv.cpp

Beberapa kode sumber berasal

• Binding Llama-CPP: Sobelio/LLM-Chain
• RWKV LOGITS Sampling: Kerfufflev2/smolrsrwkv

---

Masyarakat

Bergabunglah dengan komunitas Discord kami sekarang! Klik untuk Bergabung dengan Perselisihan Llama-Node