llama node

llamaノード

llama-node：大規模な言語モデル用のnode.jsライブラリ

公式文書

_{安定した拡散によって生成された画像。}

---

• llamaノード
  • 導入
    • サポートされているモデル
    • サポートされているプラ​​ットフォーム
  • インストール
  • 手動編集
  • CUDAサポート
  • 謝辞
    • モデル/推論ツールの依存関係
    • いくつかのソースコードは由来します
  • コミュニティ

---

導入

このプロジェクトは初期段階であり、生産の準備ができていません。セマンティックバージョンのフォローには従いません。 nodejsのAPIは将来変更される可能性があります。慎重に使用してください。

これは、llama、rwkv、またはllama派生モデルを推論するためのNodejsライブラリです。 LLM（元々はLlama-Rs）、llama.cpp、rwkv.cppの上に構築されました。 node.jsとllamaスレッド間のチャネルメッセージにNAPI-RSを使用します。

サポートされているモデル

llama.cppバックエンドサポートモデル（GGML形式）：

• ラマ？
• アルパカ
• gpt4all
• 中国のラマ /アルパカ
• ヴィゴーニュ（フランス語）
• Vicuna
• コアラ
• OpenBuddy？ （多言語）
• Pygmalion 7b / Metharme 7b

LLM（LLAMA-RS）バックエンドサポートモデル（GGML形式）：

• GPT-2
• GPT-J
• llama：llama、alpaca、vicuna、koala、gpt4all v1、gpt4-x、ウィザード
• GPT-Neox：GPT-Neox、Stablelm、Redpajama、Dolly V2
• ブルーム：ブルームズ

RWKV.CPPバックエンドサポートモデル（GGML形式）：

• RWKV

サポートされているプラ​​ットフォーム

• ダーウィン-X64
• Darwin-Arm64
• Linux-x64-gnu（glibc> = 2.31）
• Linux-x64-musl
• Win32-X64-MSVC

node.jsバージョン：> = 16

---

インストール

• llama-node npmパッケージをインストールします

npm install llama-node

• 推論バックエンドの誰かをインストールします（少なくとも1つ）

  • llama.cpp

  npm install @llama-node/llama-cpp

  • またはLLM

  npm install @llama-node/core

  • またはrwkv.cpp

  npm install @llama-node/rwkv-cpp

---

手動編集

私たちの貢献ガイドで手動編集から始める方法をご覧ください

---

CUDAサポート

CUDAサポートに関連する手動のコンピレーションを始めるために、当社のサイトのドキュメントを読んでください

---

謝辞

このライブラリは、MIT/Apache-2.0ライセンスの下で公開されました。ただし、このライブラリからコードを再利用する場合は、作業/依存関係を引用することを強くお勧めします。

モデル/推論ツールの依存関係

• ラマモデル：FacebookResearch/Llama
• RWKVモデル：BlinkDL/RWKV-LM
• llama.cpp：ggreganov/llama.cpp
• LLM：Rustformers/LLM
• rwkv.cpp：saharnooby/rwkv.cpp

いくつかのソースコードは由来します

• llama-cpp bindings：sobelio/llm-chain
• RWKVロジッツサンプリング：kerfufflev2/smolrsrwkv

---

コミュニティ

今すぐ私たちのDiscordコミュニティに参加してください！クリックしてLlama-Node Discordに参加します