llama node

Nœud de lama

LLAMA-NODE: Node.js Bibliothèque pour un modèle de grande langue

Documentations officielles

_{Image générée par diffusion stable.}

---

• Nœud de lama
  • Introduction
    • Modèles pris en charge
    • Plates-formes prises en charge
  • Installation
  • Compilation manuelle
  • Support CUDA
  • Remerciements
    • Modèles / outils d'inférence dépendants
    • Certains code source proviennent de
  • Communauté

---

Introduction

Ce projet est à un stade précoce et n'est pas prêt à la production, nous ne suivons pas le versioning sémantique. L'API pour NodeJS peut changer à l'avenir, l'utiliser avec prudence.

Il s'agit d'une bibliothèque NodeJS pour les modèles dérivés de la lama, RWKV ou LLAMA. Il a été construit au-dessus de LLM (à l'origine Llama-RS), llama.cpp et rwkv.cpp. Il utilise Napi-Rs pour les messages de canal entre Node.js et le thread LLAMA.

Modèles pris en charge

LLAMA.CPP Backend Prisedate Models (au format GGML):

• Lama?
• Alpaga
• Gpt4all
• Llama chinois / alpaga
• Vigogne (français)
• Vicuna
• Koala
• OpenBuddy? (Multilingue)
• Pygmalion 7b / métharme 7b

LLM (LLAMA-RS) Modèles pris en charge backend (au format GGML):

• Gpt-2
• Gpt-j
• Llama: Llama, Alpaca, Vicuna, Koala, GPT4ALL V1, GPT4-X, Wizard
• Gpt-neox: gpt-neox, stablelm, redpajama, dolly v2
• Bloom: Bloomz

Modèles pris en charge Rwkv.CPP Backend (au format GGML):

• Rwkv

Plates-formes prises en charge

• darwin-x64
• darwin-arm64
• Linux-X64-GNU (GLIBC> = 2,31)
• Linux-X64-Musl
• win32-x64-msvc

Node.js Version:> = 16

---

Installation

• Installer le package NPM à nœuds lame

npm install llama-node

• Installez n'importe qui des backends d'inférence (au moins un)

  • lama.cpp

  npm install @llama-node/llama-cpp

  • ou LLM

  npm install @llama-node/core

  • ou rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

Compilation manuelle

Veuillez voir comment commencer par la compilation manuelle sur notre guide de contribution

---

Support CUDA

Veuillez lire le document sur notre site pour commencer avec la compilation manuelle liée au support CUDA

---

Remerciements

Cette bibliothèque a été publiée sous la licence MIT / APACHE-2.0. Cependant, nous vous recommandons fortement de citer nos travaux / nos dépendances fonctionnent si vous souhaitez réutiliser le code de cette bibliothèque.

Modèles / outils d'inférence Dépendances

• Modèles de lama: FacebookResearch / Llama
• Modèles RWKV: BLINKDL / RWKV-LM
• llama.cpp: ggreganov / llama.cpp
• LLM: Rustformers / LLM
• rwkv.cpp: saharnooby / rwkv.cpp

Certains code source proviennent de

• LLAMA-CPP BESAUX: Sobelio / LLM-Chain
• RWKV Logits Sampling: Kerfufflev2 / smolrsrwkv

---

Communauté

Rejoignez notre communauté Discord maintenant! Cliquez pour rejoindre la discorde de nœud lama