llama node

llama 노드

llama-node : 큰 언어 모델을위한 node.js 라이브러리

공식 문서

_{안정적인 확산으로 생성 된 그림.}

---

• llama 노드
  • 소개
    • 지원되는 모델
    • 지원되는 플랫폼
  • 설치
  • 수동 컴파일
  • CUDA 지원
  • 감사의 말
    • 모델/추론 도구 종속성
    • 일부 소스 코드는
  • 지역 사회

---

소개

이 프로젝트는 초기 단계에 있으며 생산 준비가되어 있지 않으며 시맨틱 버전을 따르지 않습니다. NODEJS 용 API는 향후 변경 될 수 있으며주의해서 사용할 수 있습니다.

이것은 llama, rwkv 또는 llama 파생 모델을 추론하기위한 Nodejs 라이브러리입니다. LLM (원래 LLAMA-RS), LLAMA.CPP 및 RWKV.CPP 위에 제작되었습니다. node.js와 llama 스레드 사이의 채널 메시지에 NAPI-R을 사용합니다.

지원되는 모델

llama.cpp backend 지원 된 모델 (GGML 형식) :

• 라마?
• 알파카
• gpt4all
• 중국 라마 / 알파카
• Vigogne (프랑스어)
• 비쿠나
• 코알라
• OpenBuddy? (다국어)
• 피그말리온 7b / 메타 메 7b

LLM (LLAMA-RS) 백엔드 지원 모델 (GGML 형식) :

• GPT-2
• GPT-J
• 라마 : 라마, 알파카, 비쿠나, 코알라, gpt4all v1, gpt4-x, 마법사
• GPT-Neox : GPT-Neox, Stablelm, Redpajama, Dolly V2
• 블룸 : 블룸츠

rwkv.cpp 백엔드 지원 모델 (GGML 형식) :

• RWKV

지원되는 플랫폼

• 다윈 -x64
• 다윈 -Arm64
• Linux-X64-GNU (glibc> = 2.31)
• Linux-X64-MUSL
• WIN32-X64-MSVC

node.js 버전 :> = 16

---

설치

• llama-node npm 패키지를 설치하십시오

npm install llama-node

• 추론 백엔드를 설치하십시오 (최소 1 개)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • 또는 llm

  npm install @llama-node/core

  • 또는 rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

수동 컴파일

기여 가이드에서 수동 편집으로 시작하는 방법을 참조하십시오.

---

CUDA 지원

CUDA 지원과 관련된 수동 편집을 시작하려면 사이트의 문서를 읽으십시오.

---

감사의 말

이 라이브러리는 MIT/Apache-2.0 라이센스에 따라 게시되었습니다. 그러나이 라이브러리에서 코드를 재사용하려면 업무/의존성 작업을 인용하는 것이 좋습니다.

모델/추론 도구 종속성

• 라마 모델 : FacebookResearch/llama
• RWKV 모델 : BlinkDL/RWKV-LM
• llama.cpp : ggreganov/llama.cpp
• LLM : Rustformers/LLM
• rwkv.cpp : saharnooby/rwkv.cpp

일부 소스 코드는

• LLAMA-CPP 바인딩 : Sobelio/LLM- 체인
• RWKV 로지 샘플링 : kerfufflev2/smolrsrwkv

---

지역 사회

지금 우리의 불화 커뮤니티에 가입하십시오! Llama-Node Discord에 가입하려면 클릭하십시오