LlamaChat

الدردشة مع طرز Llama المفضلة لديك ، مباشرة على جهاز Mac الخاص بك

---

Llamachat هو تطبيق MacOS يتيح لك الدردشة مع طرازات Llama و Alpaca و GPT4ALL التي تعمل محليًا على جهاز Mac.

ابدء

يتطلب Llamachat MacOS 13 Ventura ، وإما معالج Intel أو Apple Silicon.

تنزيل مباشر

قم بتنزيل .dmg يحتوي على أحدث إصدار هنا؟

بناء من المصدر

git clone https://github.com/alexrozanski/LlamaChat.git
cd LlamaChat
open LlamaChat.xcodeproj

ملاحظة: يتضمن Llamachat Sparkle for AutoupDates ، والذي سيفشل في التحميل إذا لم يتم توقيع Llamachat. تأكد من استخدام شهادة توقيع صالحة عند بناء وتشغيل Llamachat.

ملاحظة: يعمل استدلال النموذج ببطء شديد في بناء التصحيح ، لذلك إذا تم بناء من المصدر ، تأكد من أن Build Configuration في LlamaChat > Edit Scheme... > Run Release

سمات

• النماذج المدعومة: يدعم Llamachat طرازات Llama و Alpaca و GPT4ALL خارج الصندوق. سيأتي الدعم لنماذج أخرى بما في ذلك Vicuna و Koala قريبًا. نحن نبحث أيضًا عن المتحدثين الصينيين والفرنسيين لإضافة دعم لـ Llama/Alpaca الصينية و Vigogne.
• تنسيقات نموذجية مرنة: تم بناء Llamachat على قمة llama.cpp و llama.swift. يدعم التطبيق إضافة نماذج Llama إما في نموذج نقاط التفتيش Pytorch Raw .pth أو تنسيق .ggml .
• تحويل النموذج: إذا تمت إضافة نقاط تفتيش Pytorch الخام ، فيمكن تحويلها إلى ملفات .ggml متوافقة مع Llamachat و Llama.cpp داخل التطبيق.
• تاريخ الدردشة: تم استمرار تاريخ الدردشة داخل التطبيق. يمكن مسح كل من سجل الدردشة وسياق النموذج في أي وقت.
• الصورة الرمزية غير التقليدية: تشحن Llamachat مع 7 تجسيدات غير تقليدية يمكن استخدامها مع مصادر الدردشة الخاصة بك.
• تسمية المصدر المتقدم: يستخدم Llamachat Special Magic ™ لإنشاء أسماء مرحة لمصادر الدردشة الخاصة بك.
• تصحيح الأخطاء في السياق: بالنسبة لعشاق ML الحريصين ، يمكن الاطلاع على سياق النموذج الحالي للدردشة في المعلومات البوب.

؟ النماذج

ملاحظة: لا يشحن Llamachat مع أي ملفات نموذجية ويتطلب أن تحصل على هذه المصادر المعنية وفقًا لشروطها وأحكامها.

• تنسيقات النماذج: يتيح لك Llamachat استخدام عائلة Llama من النماذج إما في نموذج نقطة تفتيش Python الخام ( .pth ) أو ملف .ggml المحول مسبقًا (التنسيق الذي يستخدمه Llama.cpp ، الذي يعمل على تشغيل Llamachat).
• باستخدام نماذج Llama: عند استيراد نماذج Llama بتنسيق .pth :
  • يجب عليك تحديد دليل حجم المعلمة المناسب (على سبيل المثال 7B ، 13B إلخ) في تدفق التحويل ، والذي يتضمن ملفات consolidated.NN.pth و params.json .
  • وفقًا لإصدار نموذج Llama ، يجب أن يحتوي الدليل الأصل على tokenizer.model . على سبيل المثال لاستخدام نموذج LLAMA-13B ، يجب أن يبدو دليل النموذج الخاص بك مثل ما يلي ، ويجب عليك تحديد دليل 13B :

 .
│   ...
├── 13B
│   ├── checklist.chk.txt
│   ├── consolidated.00.pth
│   ├── consolidated.01.pth
│   └── params.json
│   ...
└── tokenizer.model

• استكشاف الأخطاء وإصلاحها: إذا كنت تستخدم ملفات .ggml ، تأكد من أنها محدثة. إذا واجهت مشكلات ، فقد تحتاج إلى استخدام البرامج النصية للتحويل من llama.cpp:
  • لطراز GPT4ALL ، قد تحتاج إلى استخدام تحويل GPT4ALL إلى GGGML.Py
  • بالنسبة لنموذج الألبكة ، قد تحتاج إلى استخدام التحويل غير المتحول إلى GGGML-to-ggml.py
  • قد تحتاج أيضًا إلى استخدام Migrate-GGML-2023-03-30-PR613. لمزيد من المعلومات ، تحقق من llama.cpp repo.

؟ ‍ المساهمة

طلبات السحب والمشكلات موضع ترحيب وتقدير كبير. يرجى التأكد من الالتزام بقواعد السلوك في جميع الأوقات.

تم تصميم Llamachat بالكامل باستخدام Swift و Swiftui ، ويستفيد من llama.swift تحت الغطاء لتشغيل الاستدلال وأداء عمليات النموذج.

تم تصميم المشروع في الغالب باستخدام MVVM ويستفيد بشكل كبير من التزامن السريع.

⚖ الترخيص

Llamachat مرخصة بموجب ترخيص معهد ماساتشوستس للتكنولوجيا.