node llama cpp

노드-라마-cpp

머신에서 로컬로 AI 모델 실행

_{사전 빌드된 바인딩은 cmake를 사용하여 소스에서 빌드하는 대체 기능과 함께 제공됩니다.}

v3.0 나왔습니다!

특징

• 컴퓨터에서 로컬로 LLM 실행

• Metal, CUDA 및 Vulkan 지원

• node-gyp 또는 Python 없이 소스에서 빌드하기 위한 폴백과 함께 사전 빌드된 바이너리가 제공됩니다.

• 하드웨어에 자동으로 적응하므로 아무것도 구성할 필요가 없습니다.

• 프로젝트에서 LLM을 사용하는 데 필요한 모든 것을 갖춘 완벽한 제품군

• 코드를 작성하지 않고 CLI를 사용하여 모델과 채팅

• 최신 llama.cpp 로 최신 상태입니다. 단일 CLI 명령으로 최신 릴리스 다운로드 및 컴파일

• JSON과 같이 구문 분석 가능한 형식으로 출력을 생성하도록 모델을 적용하거나 특정 JSON 스키마를 따르도록 강제할 수도 있습니다.

• 수행 작업에 대한 정보를 검색하기 위해 요청 시 호출할 수 있는 기능을 모델에 제공

• 임베딩 지원

• 완전한 TypeScript 지원 및 완전한 문서를 통한 훌륭한 개발자 경험

• 훨씬 더

선적 서류 비치

• 시작 가이드

• API 참조

• CLI 도움말

• 블로그

• 변경 내역

• 로드맵

설치하지 않고 사용해 보세요

단일 명령을 사용하여 터미널에서 모델과 채팅하세요.

 npx -y node-llama-cpp 채팅

설치

 npm 설치 node-llama-cpp

이 패키지에는 macOS, Linux 및 Windows용으로 사전 빌드된 바이너리가 함께 제공됩니다.

플랫폼에서 바이너리를 사용할 수 없는 경우 llama.cpp 릴리스를 다운로드하고 cmake 사용하여 소스에서 빌드하도록 대체됩니다. 이 동작을 비활성화하려면 환경 변수 NODE_LLAMA_CPP_SKIP_DOWNLOAD true 로 설정하세요.

용법

 "url"에서 {fileURLToPath} 가져오기; "path"에서 경로 가져오기; "node-llama-cpp"에서 {getLlama, LlamaChatSession} 가져오기;const __dirname = path.dirname(fileURLToPath(import.meta.url));const llama = wait getLlama();const model = wait llama.loadModel({modelPath: path.join(__dirname, "모델", "Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf")});const context = wait model.createContext();const session = new LlamaChatSession({contextSequence: context.getSequence()}); const q1 = "안녕하세요, 잘 지내세요?";console.log("User: " + q1);const a1 = wait session.prompt(q1);console.log("AI: " + a1);const q2 = "말한 내용 요약";console.log("User: " + q2);const a2 = wait session.prompt(q2 );console.log("AI: " + a2);

더 많은 예를 보려면 시작 가이드를 참조하세요.

기여

node-llama-cpp 에 기여하려면 기여 가이드를 읽어보세요.

감사의 말

• llama.cpp:ggerganov/llama.cpp

이 저장소가 마음에 든다면 별표를 표시하세요 ✨