llama node

عقدة لاما

Llama-Node: Node.js Library لنموذج اللغة الكبيرة

الوثائق الرسمية

_{الصورة الناتجة عن الانتشار المستقر.}

---

• عقدة لاما
  • مقدمة
    • النماذج المدعومة
    • المنصات المدعومة
  • تثبيت
  • التجميع اليدوي
  • دعم CUDA
  • شكر وتقدير
    • نماذج/استنتاج أدوات التبعيات
    • بعض رمز المصدر يأتي من
  • مجتمع

---

مقدمة

هذا المشروع في مرحلة مبكرة وليس جاهزًا للإنتاج ، ولا نتبع النسخة الدلالية. قد تتغير API لـ Nodejs في المستقبل ، وتستخدمها بحذر.

هذه مكتبة NodeJS لاستدلال Llama أو RWKV أو Llama المشتقة. تم بناؤه على قمة LLM (في الأصل LAMA-RS) ، LLAMA.CPP و RWKV.CPP. يستخدم NAPI-RS لرسائل القناة بين NODE.JS و LLAMA.

النماذج المدعومة

Llama.cpp الخلفية المدعومة من النماذج (بتنسيق GGML):

• لاما؟
• الألبكة
• GPT4ALL
• الصينية لاما / الألبكة
• Vigogne (الفرنسية)
• فيكونا
• كوالا
• OpenBuddy؟ (متعدد اللغات)
• Pygmalion 7B / Metharme 7B

LLM (LLAMA-RS) النماذج المدعومة من الخلفية (بتنسيق GGML):

• GPT-2
• GPT-J
• لاما: لاما ، الألباكا ، فيكونا ، كوالا ، GPT4ALL V1 ، GPT4-X ، Wizard
• GPT-NEOX: GPT-NEOX ، Stablelm ، Redpajama ، Dolly V2
• بلوم: بلومز

RWKV.CPP الخلفية المدعومة من النماذج (بتنسيق GGML):

• RWKV

المنصات المدعومة

• داروين-X64
• داروين arm64
• Linux-X64-Gnu (glibc> = 2.31)
• Linux-X64-Musl
• Win32-X64-MSVC

إصدار Node.js:> = 16

---

تثبيت

• قم بتثبيت حزمة Llama-Ide NPM

npm install llama-node

• تثبيت أي شخص من الخلفية الاستدلال (واحد على الأقل)

  • llama.cpp

  npm install @llama-node/llama-cpp

  • أو LLM

  npm install @llama-node/core

  • أو RWKV.CPP

  npm install @llama-node/rwkv-cpp

---

التجميع اليدوي

يرجى الاطلاع على كيفية البدء مع التجميع اليدوي على دليل المساهمة لدينا

---

دعم CUDA

يرجى قراءة المستند على موقعنا للبدء في التجميع اليدوي المتعلق بدعم CUDA

---

شكر وتقدير

تم نشر هذه المكتبة بموجب ترخيص MIT/Apache-2.0. ومع ذلك ، فإننا نوصيك بشدة بالاستشهاد بعملنا/عملنا في عملنا إذا كنت ترغب في إعادة استخدام الرمز من هذه المكتبة.

نماذج/استنتاج أدوات التبعيات

• نماذج Llama: Facebookresearch/Llama
• نماذج RWKV: Blinkdl/RWKV-LM
• llama.cpp: ggreganov/llama.cpp
• LLM: Rustformers/LLM
• RWKV.CPP: Saharnooby/RWKV.CPP

بعض رمز المصدر يأتي من

• روابط Llama-CPP: Sobelio/LLM سلسلة
• RWKV Logits Sampling: Kerfufflev2/smolrsrwkv

---

مجتمع

انضم إلى مجتمع الخلاف الآن! انقر للانضمام إلى Discord Llama-Ude