llama node

Nodo de llamas

Nodo Llama: Biblioteca Node.js para un modelo de idioma grande

Documentación oficial

_{Imagen generada por difusión estable.}

---

• Nodo de llamas
  • Introducción
    • Modelos compatibles
    • Plataformas compatibles
  • Instalación
  • Compilación manual
  • Soporte CUDA
  • Expresiones de gratitud
    • Modelos/dependencias de herramientas de inferencia
    • Algún código fuente proviene de
  • Comunidad

---

Introducción

Este proyecto está en una etapa temprana y no está listo para la producción, no seguimos el versiones semánticas. La API para NodeJ puede cambiar en el futuro, usarla con precaución.

Esta es una biblioteca NodeJS para Inferencing Llama, RWKV o modelos derivados de LLAMA. Fue construido sobre LLM (originalmente Llama-RS), Llama.CPP y RWKV.CPP. Utiliza NAPI-RS para mensajes de canal entre Node.js y hilo de llama.

Modelos compatibles

Llama.CPP Backend Modelos compatibles (en formato GGML):

• ¿Llama?
• Alpaca
• GPT4All
• Llama chino / alpaca
• Vigogne (francés)
• Vicuna
• Coala
• OpenBuddy? (Plurilingüe)
• Pigmalión 7b / Metarme 7b

LLM (LLAMA-RS) Backend modelos compatibles (en formato GGML):

• GPT-2
• GPT-J
• Llama: Llama, Alpaca, Vicuna, Koala, GPT4All V1, GPT4-X, Wizard
• GPT-NEOX: GPT-NEOX, Stablelm, Redpajama, Dolly V2
• Bloom: Bloombz

RWKV.CPP Backend Modelos compatibles (en formato GGML):

• RWKV

Plataformas compatibles

• darwin-x64
• Darwin-Arm64
• Linux-X64-GNU (GLIBC> = 2.31)
• Linux-X64-Musl
• Win32-X64-MSVC

Versión de node.js:> = 16

---

Instalación

• Instalar el paquete NPM de nodo LLAMA

npm install llama-node

• Instale cualquier persona de los backends de inferencia (al menos uno)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • o LLM

  npm install @llama-node/core

  • o rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

Compilación manual

Consulte cómo comenzar con la compilación manual en nuestra guía de contribución

---

Soporte CUDA

Lea el documento en nuestro sitio para comenzar con la compilación manual relacionada con el soporte CUDA

---

Expresiones de gratitud

Esta biblioteca fue publicada bajo la licencia MIT/Apache-2.0. Sin embargo, le recomendamos encarecidamente que cite nuestro trabajo/nuestro trabajo de dependencias si desea reutilizar el código de esta biblioteca.

Modelos/dependencias de herramientas de inferencia

• Modelos de Llama: FacebookResearch/Llama
• Modelos RWKV: BlinkDL/RWKV-LM
• llama.cpp: ggganov/llama.cpp
• LLM: Rustformers/LLM
• rwkv.cpp: saharnooby/rwkv.cpp

Algún código fuente proviene de

• Vínculos de Llama-CPP: Sobelio/LLM-Chain
• RWKV LOGITS Muestreo: kerfufflev2/smolrsrwkv

---

Comunidad

¡Únete a nuestra comunidad de Discord ahora! Haga clic para unirse a Discord nodo de Llama