llama node

Llama Node

llama-node: library node.js สำหรับรูปแบบภาษาขนาดใหญ่

เอกสารอย่างเป็นทางการ

_{ภาพที่สร้างขึ้นโดยการแพร่กระจายที่มั่นคง}

---

• Llama Node
  • การแนะนำ
    • รุ่นที่รองรับ
    • แพลตฟอร์มที่รองรับ
  • การติดตั้ง
  • การรวบรวมด้วยตนเอง
  • การสนับสนุน CUDA
  • กิตติกรรมประกาศ
    • แบบจำลอง/เครื่องมือการอนุมานการพึ่งพา
    • ซอร์สโค้ดบางส่วนมาจาก
  • ชุมชน

---

การแนะนำ

โครงการนี้อยู่ในช่วงเริ่มต้นและยังไม่พร้อมการผลิตเราไม่ปฏิบัติตามเวอร์ชันความหมาย API สำหรับ nodejs อาจเปลี่ยนแปลงในอนาคตใช้ด้วยความระมัดระวัง

นี่คือไลบรารี NodeJS สำหรับการอนุมาน LLAMA, RWKV หรือ LLAMA ที่ได้มาจากโมเดล มันถูกสร้างขึ้นที่ด้านบนของ LLM (เดิมที LLAMA-RS), llama.cpp และ rwkv.cpp มันใช้ napi-rs สำหรับข้อความช่องระหว่าง node.js และเธรด llama

รุ่นที่รองรับ

LLAMA.CPP แบ็กเอนด์รุ่นที่รองรับ (ในรูปแบบ GGML):

• ลามา?
• อัลปากา
• GPT4ALL
• Llama / Alpaca จีน
• Vigogne (ฝรั่งเศส)
• ตัวแทน
• โคอาล่า
• OpenBuddy? (หลายภาษา)
• Pygmalion 7b / Metharme 7b

LLM (LLAMA-RS) รุ่นแบ็กเอนด์ที่รองรับ (ในรูปแบบ GGML):

• GPT-2
• GPT-J
• Llama: Llama, Alpaca, Vicuna, Koala, GPT4ALL V1, GPT4-X, Wizard
• GPT-NEOX: GPT-NEOX, Stablelm, Redpajama, Dolly v2
• Bloom: Bloomz

RWKV.CPP แบ็กเอนด์รุ่นรองรับ (ในรูปแบบ GGML):

• RWKV

แพลตฟอร์มที่รองรับ

• ดาร์วิน -x64
• Darwin-Arm64
• Linux-X64-GNU (glibc> = 2.31)
• Linux-X64-MUSL
• Win32-X64-MSVC

node.js เวอร์ชัน:> = 16

---

การติดตั้ง

• ติดตั้งแพ็คเกจ Llama-Node NPM

npm install llama-node

• ติดตั้งแบ็กเอนด์การอนุมานทุกคน (อย่างน้อยหนึ่ง)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • หรือ LLM

  npm install @llama-node/core

  • หรือ rwkv.cpp

  npm install @llama-node/rwkv-cpp

---

การรวบรวมด้วยตนเอง

โปรดดูวิธีเริ่มต้นด้วยการรวบรวมด้วยตนเองในคู่มือการบริจาคของเรา

---

การสนับสนุน CUDA

โปรดอ่านเอกสารบนเว็บไซต์ของเราเพื่อเริ่มต้นด้วยการรวบรวมด้วยตนเองที่เกี่ยวข้องกับการสนับสนุน CUDA

---

กิตติกรรมประกาศ

ห้องสมุดนี้ได้รับการเผยแพร่ภายใต้ใบอนุญาต MIT/Apache-2.0 อย่างไรก็ตามเราขอแนะนำให้คุณอ้างถึงการทำงานของเรา/การพึ่งพาของเราทำงานหากคุณต้องการนำรหัสกลับมาใช้ใหม่จากไลบรารีนี้

แบบจำลอง/เครื่องมือการอนุมานการพึ่งพา

• Llama Models: FacebookResearch/llama
• รุ่น RWKV: BlinkDL/RWKV-LM
• llama.cpp: ggreganov/llama.cpp
• LLM: Rustformers/LLM
• rwkv.cpp: saharnooby/rwkv.cpp

ซอร์สโค้ดบางส่วนมาจาก

• การผูก llama-CPP: Sobelio/LLM-Chain
• การสุ่มตัวอย่าง RWKV logits: kerfufflev2/smolrsrwkv

---

ชุมชน

เข้าร่วมชุมชน Discord ของเราตอนนี้! คลิกเพื่อเข้าร่วม Llama-Node Discord