nanoChatGPT

nanochatgpt

a nanogpt nanogpt ، ولكن تم تحريكها على بيانات المحادثة

جميع التحديثات في التحديثات. md
رابط كولاب
لعرض capabilites ، توجه إلى Colab Link ، ما عليك سوى تشغيل git clone ، pip install ، prepare.py ، ثم قم بتشغيل chat.py مع --init_from=huggingface

سمات

• مجموعة بيانات متوسطة (حوالي 700 ميجابايت) ، مليئة بمجموعة متنوعة من المحادثات ، وبعض الحساب القليل

• النموذج ومجموعات البيانات الجاذبية على Luggingface

• (في أحسن الأحوال) ، يمكن أن تتحدث معك حول مجموعة متنوعة من الموضوعات والتبديل بسلاسة بين الموضوعات

• GPT-2-Medium 353 مليون معلمة

• استنتاج سريع جدا على وحدة معالجة الرسومات

• المستخدم لدردشة الروبوت

• يحتوي chat.py على وظائف مشابهة لـ Openai API Stop ، ويزيل جميع المحتوى بعد كلمة معينة

• تعيين سياق لبدء المحادثة ، وجعل شخصية جديدة بالكامل لدردشة chatbot

  !python chat.py --init_from=huggingface --context=""

كيف تعمل؟

هذا شوكة من nanogpt ، ولكن تم تدريبها على تنسيق بيانات chatbot مثل chatgpt ، مع التنسيق المستوحى من oasst-pythia-12b

 <human> ... <endOfText>
<Bot> ... <endOfText>
<human> ... <endOfText>
<Bot> ... <endOfText>
<human> ... <endOfText>
<Bot> ... <endOfText>

مشاكل / تودوس

• الرياضيات والتفكير المنطقي

  • على الرغم من أن في الغالب خارج نطاق هذا النموذج ، فإن هذا شيء بالنسبة للنماذج المستقبلية ، فإن الخيارين الرئيسيين هو اكتشاف رمز الرياضيات وتشغيله إلى الوراء ، أو تدريب النموذج مع سلسلة من الرياضيات على الرغم من أنه من المحتمل أن يكون أكثر جدوى ، للتفكير المنطقي ، قد أحاول دمج مجموعات البيانات مثل garage-bAInd/Open-Platypus ، etc

• لا الذاكرة/استدعاء

  • على الرغم من أنه من المحتمل خارج نطاق هذا النموذج ، فإن هذا شيء بالنسبة للنماذج المستقبلية ، مع العديد من النماذج ، يمكنك أن تسأل عما كنت تتحدث عنه فقط أو لتلخيص المحادثة أعلاه. عندما تتم محاولة ذلك مع هذا النموذج:

     Human: Dogecoin is cool 
    Bot: indeed, very shibe
    Human: what were we just talking about?
    Bot: me and a friend gave up on mining, but now I can
    

    كما نرى ، يستمر مع جملة على التعدين ، مما يؤكد أنه يفهم السياق (معلومات GPT2) ولكنه لا يتمتع بالقدرة على الاستدعاء. أظن أن ذلك يتعلق ببيانات النماذج ، وأنه إذا كنت سأطعم بيانات تكنولوجيا المعلومات مثل بيانات الاتصال وبيانات التلخيص القصير ، فسوف تحصل على هذه القدرات

أي شخص يمكنه المساهمة في الريبو ، يرجى القيام بذلك ، أي وجميع المساهمات موضع ترحيب ، ببساطة إضافة القليل إلى مجموعة البيانات وتوسيع نطاق البيانات سيكون مذهلاً.

القيود

لم أقم بإعداد مقالب البيانات/الأجسام التي تشكل هذه البيانات ، ولا يمكنني حساب أي تحيزات ، حيث أن مجموعة البيانات التي تعتمد على محادثات الأشخاص الحقيقيين الذين قد يكونون أو لم يكون لديهم تحيزات. هذا النموذج مخصص لأغراض البحث الأكاديمي ، وليس المقصود من أي سيناريوهات مهمة أو عالية المخاطر. لا تتبع نصيحتها

ماذا في البيانات

• Personachat Corpus (ليس للاستخدام التجاري)
• Twitter Dumps Corpus
• Ubuntu Dialog Corpus
• محادثات chatbot Arena (وليس للاستخدام التجاري)
• الدردشة المتعاطفة مع Parlai (ليس للاستخدام التجاري)
• Hackernews Dumps Corpus
• Babylm تحدي بيانات الكلام (غير متأكد ، ولكن ربما ليس للاستخدام التجاري)
• مجموعة البيانات الحسابية AI ELUTHIER
• جزء صغير من OASST-1

لأغراض تجارية ، ما عليك سوى أخذ الملفات input1.txt من خلال input36.txt

الاستشهادات

 @misc{zheng2023judging,
      title={Judging LLM-as-a-judge with MT-Bench and Chatbot Arena}, 
      author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zi Lin and Zhuohan Li and Dacheng Li and Eric. P Xing and Hao Zhang and Joseph E. Gonzalez and Ion Stoica},
      year={2023},
      eprint={2306.05685},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}