node llama cpp

節點 llama-cpp

在您的電腦上本機運行 AI 模型

_{提供了預先建構的綁定，並可以使用 cmake 從原始碼進行構建}

v3.0來了！

特徵

• 在您的電腦上本地運行 LLM

• 金屬、CUDA 和 Vulkan 支持

• 提供預先建置的二進位文件，可以在不使用node-gyp或 Python 的情況下從原始程式碼構建

• 自動適應您的硬件，無需配置任何內容

• 一套完整的套件，包含您在專案中使用法學碩士所需的一切

• 使用 CLI 與模型聊天，無需編寫任何程式碼

• 與最新的llama.cpp保持同步。使用單一 CLI 命令下載並編譯最新版本

• 強制模型以可解析格式（例如 JSON）產生輸出，甚至強制其遵循特定的 JSON 模式

• 為模型提供可按需呼叫的函數，以檢索執行操作的信息

• 嵌入支援

• 具有完整 TypeScript 支援和完整文件的出色開發人員體驗

• 更多

文件

• 入門指南

• API參考

• CLI 幫助

• 部落格

• 變更日誌

• 路線圖

無需安裝即可嘗試

使用單一命令與終端機中的模型聊天：

 npx -y 節點-llama-cpp 聊天

安裝

npm 安裝 node-llama-cpp

該軟體包附帶適用於 macOS、Linux 和 Windows 的預先建置二進位。

如果二進位檔案不適用於您的平台，它將回退下載llama.cpp版本並使用cmake從原始程式碼建置它。若要停用此行為，請將環境變數NODE_LLAMA_CPP_SKIP_DOWNLOAD設為true 。

用法

從“url”導入{fileURLToPath};從“path”導入路徑;從“node-llama-cpp”導入{getLlama, LlamaChatSession};const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama =等待getLlama();const模型=等待llama.loadModel({modelPath:path.join(__dirname,“models”,“Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf”)});const上下文=等待model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()});const q1 = "嗨，你好嗎？";console.log("用戶：" + q1);const a1 = wait session.prompt(q1);console.log("AI：" + a1);const q2 = "總結你所說的內容";console.log("用戶：" + q2);const a2 = wait session .prompt (q2);console.log("人工智慧：" + a2);

有關更多範例，請參閱入門指南

貢獻

要為node-llama-cpp做出貢獻，請閱讀貢獻指南。

致謝

• llama.cpp：ggerganov/llama.cpp

如果你喜歡這個倉庫，請給它加星標✨