go rwkv.cpp تنزيل - go rwkv.cpp تنزيل رمز المصدر

go rwkv.cpp

كود الذكاء الاصطناعي

1.0.0

تنزيل

منظمة العفو الدولية مع RWKV

GO-RWKV.CPP

Gowrkv.go هو غلاف حول RWKV-CPP ، وهو تكيف مع ggml.cpp.

سمات

RKWV.CPP أسرع بشكل عام ، بسبب الحفاظ على الحالة المتوسطة للنموذج ، لذلك لا يجب إعادة معالجة المطالبة بأكملها في كل مرة. لمزيد من التفاصيل ، راجع RWKV-CPP.

أيضا ، فإن النماذج المتاحة لـ RWKV.CPP مفتوحة المصدر بالكامل ، على عكس لاما. يمكنك استخدام هذه النماذج تجاريًا ، ويمكنك تعديلها على محتوى قلبك.

قد يكون التدريب أسرع أيضًا ، لم تتح لي الفرصة لمحاولة ذلك بعد.

تثبيت

التثبيت معقد حاليا. لا يعمل Go-Rkwv.cpp مع go get بعد (ترحيبًا كبيرًا). ستحتاج إلى GO ، مترجم C ++ (clang على Mac) ، و cmake.

تحميل

يجب عليك استنساخ هذا repo /متكرر /، لأنه يحتوي على عروض فرعية.

    git clone --recursive https://github.com/donomii/go-rwkv.cpp

مبنى

يوجد برنامج نصي بناء ، build.sh ، والذي سيقوم ببناء مكتبة C ++ وغلاف GO. يرجى تقديم تقارير الأخطاء إذا كان لا يعمل من أجلك.

    ./build-mac.sh

يوجد الآن بناء بديل ، والذي يبني بشكل ثابت بفضل makefile المقدمة من Mudler.

    make example/ai

تنزيل النماذج

سيقوم برنامج Download Script بتنزيل بعض النماذج ، وتحويلها إلى التنسيق الصحيح.

    cd aimodels
    sh downloadconvert.sh

ثَبَّتَ

GO-RWKV.CPP يبني حاليًا ضد المكتبة الديناميكية Librwkv.dylib. هذا ليس مثاليًا ، لكنه يعمل الآن. ستحتاج إلى نسخ هذه المكتبة إلى موقع يمكن أن يجده رابط النظام. على Mac ، هذا هو/usr/local/lib.

    cp librwkv.dylib /usr/local/lib
    export DYLD_LIBRARY_PATH=/Users/donomii/git/go-rwkv.cpp/rwkv.cpp/

إذا كنت لا ترغب في تثبيته على مستوى العالم ، فيمكنك تعيين متغير بيئة DYLD_LIBRARY_PATH على الدليل الذي يحتوي على librwkv.dylib.

يستخدم

انظر المثال/ الدليل لبرنامج دردشة العمل الكامل. فيما يلي مثال أدنى.

    package main

    import (
        "fmt"
        "github.com/donomii/go-rwkv.cpp"
    )

    func main () {
        model := LoadFiles ( "aimodels/small.bin" , "rwkv.cpp/rwkv/20B_tokenizer.json" , 8 )
    model . ProcessInput ( "You are a chatbot that is very good at chatting.  blah blah blah" )
    response := model . Generate ( 100 , " n " )
    fmt . Println ( response )

    }

يجب عليك استخدام ملف Tokenizer من RWKV.CPP. يحتوي GO-RWKV على إعادة تنفيذ المميز ، ولكن هذا التنفيذ الحد الأدنى الذي يحتوي على رمز كافي للعمل مع RWKV (وربما يكون هناك أخطاء فيه).