node llama cpp

ノード-ラマ-cpp

AI モデルをマシン上でローカルに実行する

_{事前に構築されたバインディングには、cmake を使用してソースから構築するためのフォールバックが提供されます。}

v3.0が登場しました！

特徴

• LLM をマシン上でローカルに実行する

• Metal、CUDA、Vulkan のサポート

• 事前にビルドされたバイナリが提供されており、 node-gypや Python を使用せずにソースからビルドするフォールバックが可能です

• ハードウェアに自動的に適応するため、何も設定する必要はありません

• プロジェクトで LLM を使用するために必要なものがすべて揃った完全なスイート

• CLI を使用して、コードを書かずにモデルとチャットする

• 最新のllama.cppで最新の状態にします。単一の CLI コマンドで最新リリースをダウンロードしてコンパイルします

• JSON などの解析可能な形式で出力を生成するようにモデルを強制したり、特定の JSON スキーマに従うように強制したりすることもできます。

• アクションを実行する情報を取得するためにオンデマンドで呼び出すことができる関数をモデルに提供します。

• 埋め込みのサポート

• TypeScript の完全なサポートと完全なドキュメントによる優れた開発者エクスペリエンス

• もっともっと

ドキュメント

• スタートガイド

• APIリファレンス

• CLI ヘルプ

• ブログ

• 変更履歴

• ロードマップ

インストールせずに試してみる

単一のコマンドを使用して、ターミナル内のモデルとチャットします。

 npx -y ノード-ラマ-cpp チャット

インストール

npm インストール ノード-llama-cpp

このパッケージには、macOS、Linux、Windows 用のビルド済みバイナリが付属しています。

プラットフォームでバイナリが利用できない場合は、フォールバックしてllama.cppのリリースをダウンロードし、 cmakeを使用してソースからビルドします。この動作を無効にするには、環境変数NODE_LLAMA_CPP_SKIP_DOWNLOADをtrueに設定します。

使用法

「url」から {fileURLToPath} をインポート;「パス」からパスをインポート;「node-llama-cpp」から {getLlama, LlamaChatSession} をインポート;const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = await getLlama();const モデル = await llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = await model.createContext();const session = new LlamaChatSession({contextSequence: context. getSequence()});const q1 = "こんにちは、調子はどうですか？あなたは?";console.log("ユーザー: " + q1);const a1 = await session.prompt(q1);console.log("AI: " + a1);const q2 = "あなたの言ったことを要約してください";console .log("ユーザー: " + q2);const a2 = セッションを待ちます。プロンプト(q2);console.log("AI: " + a2);

その他の例については、スタート ガイドを参照してください。

貢献する

node-llama-cppに貢献するには、貢献ガイドをお読みください。

謝辞

• ラマ.cpp: ggerganov/llama.cpp

このレポが気に入ったらスターを付けてください✨