node llama cpp

节点 llama-cpp

在您的计算机上本地运行 AI 模型

_{提供了预构建的绑定，并可以使用 cmake 从源代码进行构建}

v3.0来了！

特征

• 在您的计算机上本地运行 LLM

• 金属、CUDA 和 Vulkan 支持

• 提供预构建的二进制文件，可以在不使用node-gyp或 Python 的情况下从源代码构建

• 自动适应您的硬件，无需配置任何内容

• 一套完整的套件，包含您在项目中使用法学硕士所需的一切

• 使用 CLI 与模型聊天，无需编写任何代码

• 与最新的llama.cpp保持同步。使用单个 CLI 命令下载并编译最新版本

• 强制模型以可解析格式（例如 JSON）生成输出，甚至强制其遵循特定的 JSON 模式

• 为模型提供可按需调用的函数，以检索执行操作的信息

• 嵌入支持

• 具有完整 TypeScript 支持和完整文档的出色开发人员体验

• 更多

文档

• 入门指南

• API参考

• CLI 帮助

• 博客

• 变更日志

• 路线图

无需安装即可尝试

使用单个命令与终端中的模型聊天：

 npx -y 节点-llama-cpp 聊天

安装

npm 安装 node-llama-cpp

该软件包附带适用于 macOS、Linux 和 Windows 的预构建二进制文件。

如果二进制文件不适用于您的平台，它将回退下载llama.cpp版本并使用cmake从源代码构建它。要禁用此行为，请将环境变量NODE_LLAMA_CPP_SKIP_DOWNLOAD设置为true 。

用法

从“url”导入{fileURLToPath};从“path”导入路径;从“node-llama-cpp”导入{getLlama, LlamaChatSession};const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama =等待 getLlama();const model =等待 llama.loadModel({modelPath: path.join(__dirname, "models", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = wait model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()});const q1 = "你好，你好吗？";console.log("用户：" + q1);const a1 = wait session.prompt(q1);console.log("AI: " + a1);const q2 = "总结一下你所说的内容";console.log("用户: " + q2);const a2 = wait session.prompt(q2 );console.log("AI: " + a2);

有关更多示例，请参阅入门指南

贡献

要为node-llama-cpp做出贡献，请阅读贡献指南。

致谢

• llama.cpp：ggerganov/llama.cpp

如果你喜欢这个仓库，请给它加星标✨