llama node

美洲驼节点

骆驼节点：大语模型的node.js库

官方文件

_{图片由稳定扩散产生。}

---

• 美洲驼节点
  • 介绍
    • 支持的模型
    • 支持的平台
  • 安装
  • 手动汇编
  • CUDA支持
  • 致谢
    • 模型/推论工具依赖性
    • 一些源代码来自
  • 社区

---

介绍

该项目正处于早期阶段，还没有准备好生产，我们不遵循语义版本。 NODEJS的API将来可能会发生变化，请谨慎使用。

这是一个用于推断Llama，RWKV或Llama衍生模型的Nodejs库。它建于LLM（最初是Llama-rs），Llama.cpp和rwkv.cpp的顶部。它使用napi-rs来进行node.js和Llama线程之间的频道消息。

支持的模型

Llama.cpp后端支持的模型（GGML格式）：

• 骆驼？
• 羊驼
• GPT4ALL
• 中国骆驼 /羊驼
• Vigogne（法语）
• 维库纳
• 考拉
• 露天吗？ （多种语言）
• Pygmalion 7b / metharme 7b

LLM（LLAMA-RS）后端支持模型（以GGML格式）：

• GPT-2
• GPT-J
• 美洲驼：美洲驼，羊驼，维库纳，考拉，gpt4all v1，gpt4-x，巫师
• GPT-Neox：GPT-Neox，Stablelm，Redpajama，Dolly V2
• 布卢姆：布卢姆斯

RWKV.CPP后端支持的模型（以GGML格式）：

• RWKV

支持的平台

• Darwin-X64
• Darwin-Arm64
• linux-x64-gnu（glibc> = 2.31）
• Linux-X64-MUSL
• Win32-X64-MSVC

node.js版本：> = 16

---

安装

• 安装Llama节点NPM软件包

npm install llama-node

• 安装任何推理后端（至少一个）

  • Llama.cpp

  npm install @llama-node/llama-cpp

  • 或LLM

  npm install @llama-node/core

  • 或rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

手动汇编

请查看如何从我们的贡献指南中的手动编译开始

---

CUDA支持

请阅读我们网站上的文档，以开始使用与CUDA支持有关的手册编译

---

致谢

该库是根据MIT/Apache-2.0许可发布的。但是，如果您想从此库中重新使用代码，我们强烈建议您引用我们的工作/依赖项工作。

模型/推论工具依赖性

• Llama模型：Facebook Research/Llama
• RWKV型号：BlinkDL/RWKV-LM
• Llama.cpp：Ggreganov/Llama.cpp
• LLM：RustFormers/LLM
• rwkv.cpp：saharnooby/rwkv.cpp

一些源代码来自

• Llama-CPP绑定：Sobelio/LLM链
• RWKV logits采样：kerfufflev2/smolrsrwkv

---

社区

立即加入我们的Discord社区！点击加入骆驼节点不和谐