llama node

Nó de lhama

Nó de lhama: biblioteca Node.js para Modelo de Linguagem Grande

Documentações oficiais

_{Imagem gerada por difusão estável.}

---

• Nó de lhama
  • Introdução
    • Modelos suportados
    • Plataformas suportadas
  • Instalação
  • Compilação manual
  • Suporte CUDA
  • Agradecimentos
    • Modelos/Ferramentas de Inferência Dependências
    • Algum código -fonte vem de
  • Comunidade

---

Introdução

Este projeto está em um estágio inicial e não está pronto para a produção, não seguimos o versão semântica. A API para NodeJS pode mudar no futuro, use -a com cautela.

Esta é uma biblioteca NodeJS para inferir modelos derivados de llama, RWKV ou llama. Foi construído sobre o LLM (originalmente llama-rs), llama.cpp e rwkv.cpp. Ele usa o NAPI-RS para mensagens de canal entre o Node.js e o lhama thread.

Modelos suportados

Modelos suportados por back -end llama.cpp (no formato GGML):

• Lhama?
• Alpaca
• Gpt4all
• Lhama / alpaca chinesa
• Viggio (francês)
• Vicuna
• Koala
• OpenBuddy? (Multilíngue)
• Pygmalion 7b / metarme 7b

LLM (LLAMA-RS) Modelos suportados por back-end (no formato GGML):

• GPT-2
• GPT-J
• LLAMA: LLAMA, ALPACA, VICUNA, KOALA, GPT4ALL V1, GPT4-X, Wizard
• GPT-Neox: GPT-Neox, Stablelm, Redpajama, Dolly V2
• Bloom: Bloomz

RWKV.CPP MODELOS SUPORTADOS DE Backend (no formato GGML):

• Rwkv

Plataformas suportadas

• Darwin-X64
• Darwin-Arm64
• Linux-X64-GNU (glibc> = 2,31)
• Linux-X64-Musl
• Win32-X64-MSVC

Node.js versão:> = 16

---

Instalação

• Instale o pacote NPM de nó de lhama

npm install llama-node

• Instale qualquer um dos back -ends de inferência (pelo menos um)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • ou llm

  npm install @llama-node/core

  • ou rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

Compilação manual

Por favor, veja como começar com a compilação manual em nosso guia de contribuição

---

Suporte CUDA

Leia o documento em nosso site para começar com a compilação manual relacionada ao suporte CUDA

---

Agradecimentos

Esta biblioteca foi publicada na licença MIT/Apache-2.0. No entanto, recomendamos fortemente que você cite nosso trabalho/nossas dependências, se desejar reutilizar o código desta biblioteca.

Modelos/Ferramentas de Inferência Dependências

• Modelos de lhama: FacebookResearch/llama
• Modelos RWKV: BLINKDL/RWKV-LM
• llama.cpp: ggreganov/llama.cpp
• LLM: RustFformers/LLM
• rwkv.cpp: saharnooby/rwkv.cpp

Algum código -fonte vem de

• Chapes de LLama-CPP: Sobelio/LLM-Chain
• Logits RWKV Amostragem: KerFufflev2/smolrsrwkv

---

Comunidade

Junte -se à nossa comunidade Discord agora! Clique para se juntar à discórdia do nó de lhama