llama node

Lama -Knoten

LAMA-NODE: Node.js Library für Großsprachenmodell

Offizielle Dokumentationen

_{Bild erzeugt durch stabile Diffusion.}

---

• Lama -Knoten
  • Einführung
    • Unterstützte Modelle
    • Unterstützte Plattformen
  • Installation
  • Manuelle Zusammenstellung
  • CUDA -Unterstützung
  • Anerkennung
    • Modelle/Inferenzwerkzeuge Abhängigkeiten
    • Ein Quellcode kommt von
  • Gemeinschaft

---

Einführung

Dieses Projekt befindet sich in einer frühen Phase und ist nicht bereit produziert, wir folgen nicht der semantischen Versionierung. Die API für NodeJs kann sich in Zukunft ändern, sie mit Vorsicht verwenden.

Dies ist eine NodeJS -Bibliothek für die Inferenzmodelle für Lama-, RWKV- oder Lama -abgeleitete Modelle. Es wurde auf LLM (ursprünglich Lama-Rs), lama.cpp und rwkv.cpp gebaut. Es verwendet NAPI-RS für Kanalmeldungen zwischen Node.js und Lama-Thread.

Unterstützte Modelle

Lama.CPP Backend unterstützte Modelle (im GGML -Format):

• Lama?
• Alpaka
• Gpt4all
• Chinesisches Lama / Alpaka
• Vigogne (Französisch)
• Vicuna
• Koala
• OpenBuddy? (Mehrsprachig)
• Pygmalion 7b / Metharme 7b

LLM (LLAMA-RS) Backend unterstützte Modelle (im GGML-Format):

• GPT-2
• GPT-J
• LLAMA: Lama, Alpaka, Vicuna, Koala, GPT4ALL V1, GPT4-X, Zauberer
• GPT-NEOX: GPT-NEOX, Stablelm, Redpajama, Dolly V2
• Bloom: Bloomz

RWKV.CPP Backend unterstützte Modelle (im GGML -Format):

• Rwkv

Unterstützte Plattformen

• Darwin-X64
• Darwin-Arm64
• Linux-X64-GNU (GLIBC> = 2,31)
• Linux-X64-Musl
• Win32-X64-MSVC

Node.js Version:> = 16

---

Installation

• Installieren Sie das Lama-Knoten-NPM-Paket

npm install llama-node

• Installieren Sie jemanden der Inferenz -Backends (mindestens einen)

  • lama.cpp

  npm install @llama-node/llama-cpp

  • oder llm

  npm install @llama-node/core

  • oder rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

Manuelle Zusammenstellung

Weitere Informationen finden Sie in unserem Beitragshandbuch, wie Sie mit manueller Zusammenstellung beginnen

---

CUDA -Unterstützung

Bitte lesen Sie das Dokument auf unserer Website, um mit manueller Zusammenstellung im Zusammenhang mit der CUDA -Unterstützung zu beginnen

---

Anerkennung

Diese Bibliothek wurde unter MIT/Apache-2.0-Lizenz veröffentlicht. Wir empfehlen Ihnen jedoch dringend, unsere Arbeit/unsere Abhängigkeiten zu zitieren, wenn Sie den Code aus dieser Bibliothek wiederverwenden möchten.

Modelle/Inferenzwerkzeuge Abhängigkeiten

• LAMA -Models: Facebookresearch/Lama
• RWKV-Modelle: Blinkdl/RWKV-LM
• lama.cpp: ggreganov/lama.cpp
• LLM: Rustformers/LLM
• rwkv.cpp: saharnooby/rwkv.cpp

Ein Quellcode kommt von

• Lama-CPP-Bindungen: Sobelio/LLM-Kette
• RWKV -Logits -Sampling: Kerfufflev2/smolrsrwkv

---

Gemeinschaft

Treten Sie jetzt unserer Discord -Community bei! Klicken Sie hier