llama node

Лама узел

Llama-Node: Библиотека Node.js для большой языковой модели

Официальные документации

_{Изображение, сгенерированное стабильной диффузией.}

---

• Лама узел
  • Введение
    • Поддерживаемые модели
    • Поддерживаемые платформы
  • Установка
  • Ручная компиляция
  • Поддержка CUDA
  • Благодарности
    • Модели/Инструменты вывода зависимости
    • Некоторый исходный код поступает из
  • Сообщество

---

Введение

Этот проект находится на ранней стадии и не готов к производству, мы не следуем семантическим версиям. API для Nodejs может измениться в будущем, использовать его с осторожностью.

Это библиотека Nodejs для вывода моделей Llama, RWKV или Llama. Он был построен на вершине LLM (первоначально Llama-RS), Llama.cpp и Rwkv.cpp. Он использует NAPI-RS для сообщений каналов между Node.js и потоком ламы.

Поддерживаемые модели

Llama.cpp Бэкэнд -поддерживаемые модели (в формате GGML):

• Лама?
• Альпака
• GPT4ALL
• Китайская лама / альпака
• Vigogne (французский)
• Викуна
• Коала
• OpenBuddy? (Многоязычный)
• Pygmalion 7b / metharme 7b

LLM (LLAMA-RS) Бэкэнд-поддерживаемые модели (в формате GGML):

• GPT-2
• GPT-J
• Llama: Llama, Alpaca, Vicuna, Koala, GPT4all V1, GPT4-X, Wizard
• GPT-neox: GPT-neox, Stablelm, Redpajama, Dolly V2
• Блум: Блумз

RWKV.CPP -поддерживаемые модели (в формате GGML):

• RWKV

Поддерживаемые платформы

• Дарвин-X64
• Darwin-Arm64
• linux-x64-gnu (glibc> = 2,31)
• Linux-X64-Musl
• Win32-X64-MSVC

Node.js версия:> = 16

---

Установка

• Установите пакет NPM Llama-Node

npm install llama-node

• Установите любого из выводов Backends (по крайней мере, один)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • или LLM

  npm install @llama-node/core

  • или rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

Ручная компиляция

Пожалуйста, посмотрите, как начать с ручного компиляции в нашем руководстве по взносу

---

Поддержка CUDA

Пожалуйста, прочитайте документ на нашем сайте, чтобы начать работу с ручной компиляцией, связанной с поддержкой CUDA

---

Благодарности

Эта библиотека была опубликована по лицензии MIT/Apache-2.0. Тем не менее, мы настоятельно рекомендуем вам процитировать нашу работу/нашу работу, если вы хотите повторно использовать код из этой библиотеки.

Модели/Инструменты вывода зависимости

• Модели Llama: FacebookResearch/Llama
• Модели RWKV: Blinkdl/RWKV-LM
• llama.cpp: ggreganov/llama.cpp
• LLM: Rustformers/LLM
• rwkv.cpp: saharnooby/rwkv.cpp

Некоторый исходный код поступает из

• Привязки Llama-CPP: Sobelio/LLM-цепь
• rwkv Logits Shapeling: kerfufflev2/smolrsrwkv

---

Сообщество

Присоединяйтесь к нашему сообществу Discord прямо сейчас! Нажмите, чтобы присоединиться