llama node

美洲駝節點

駱駝節點：大語模型的node.js庫

官方文件

_{圖片由穩定擴散產生。}

---

• 美洲駝節點
  • 介紹
    • 支持的模型
    • 支持的平台
  • 安裝
  • 手動彙編
  • CUDA支持
  • 致謝
    • 模型/推論工具依賴性
    • 一些源代碼來自
  • 社區

---

介紹

該項目正處於早期階段，還沒有準備好生產，我們不遵循語義版本。 NODEJS的API將來可能會發生變化，請謹慎使用。

這是一個用於推斷Llama，RWKV或Llama衍生模型的Nodejs庫。它建於LLM（最初是Llama-rs），Llama.cpp和rwkv.cpp的頂部。它使用napi-rs來進行node.js和Llama線程之間的頻道消息。

支持的模型

Llama.cpp後端支持的模型（GGML格式）：

• 駱駝？
• 羊駝
• GPT4ALL
• 中國駱駝 /羊駝
• Vigogne（法語）
• 維庫納
• 無尾熊
• 露天嗎？ （多種語言）
• Pygmalion 7b / metharme 7b

LLM（LLAMA-RS）後端支持模型（以GGML格式）：

• GPT-2
• GPT-J
• 美洲駝：美洲駝，羊駝，維庫納，考拉，gpt4all v1，gpt4-x，巫師
• GPT-Neox：GPT-Neox，Stablelm，Redpajama，Dolly V2
• 布盧姆：布盧姆斯

RWKV.CPP後端支持的模型（以GGML格式）：

• RWKV

支持的平台

• Darwin-X64
• Darwin-Arm64
• linux-x64-gnu（glibc> = 2.31）
• Linux-X64-MUSL
• Win32-X64-MSVC

node.js版本：> = 16

---

安裝

• 安裝Llama節點NPM軟件包

npm install llama-node

• 安裝任何推理後端（至少一個）

  • Llama.cpp

  npm install @llama-node/llama-cpp

  • 或LLM

  npm install @llama-node/core

  • 或rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

手動彙編

請查看如何從我們的貢獻指南中的手動編譯開始

---

CUDA支持

請閱讀我們網站上的文檔，以開始使用與CUDA支持有關的手冊編譯

---

致謝

該庫是根據MIT/Apache-2.0許可發布的。但是，如果您想從此庫中重新使用代碼，我們強烈建議您引用我們的工作/依賴項工作。

模型/推論工具依賴性

• Llama模型：Facebook Research/Llama
• RWKV型號：BlinkDL/RWKV-LM
• Llama.cpp：Ggreganov/Llama.cpp
• LLM：RustFormers/LLM
• rwkv.cpp：saharnooby/rwkv.cpp

一些源代碼來自

• Llama-CPP綁定：Sobelio/LLM鏈
• RWKV logits採樣：kerfufflev2/smolrsrwkv

---

社區

立即加入我們的Discord社區！點擊加入駱駝節點不和諧