stambecco

Stambecco ؟: نموذج LAMA التابع للتعليمات الإيطالية

Stambecco هو نموذج يتبع التعليمات الإيطالية يعتمد على نموذج LLAMA. يأتي في نسختين: 7B و 13B المعلمات. تم تصميم المشروع بأكمله باستخدام Google Colab .

يحتوي هذا المستودع على رمز لإعادة إنتاج ستانفورد الألباكا باللغة الإيطالية ؟؟ باستخدام التكيف منخفضة الرتبة (LORA) التي توفرها؟ معانقة مكتبة Peft's Peft. نحن نقدم نموذجًا من الجودة المشابهة لنص Davinci-003 الذي يمكن أن يعمل على Raspberry Pi (للبحث) ، ويتم تمديد الكود بسهولة إلى 13B.

للمضي قدماً في حالة صقل التعليم من أجل LLMS ، نقدم أول محاولة لاستخدام بيانات متابعة التعليمات التي تم إنشاؤها GPT-4 لـ LLM Finetuning باللغة الإيطالية . ألق نظرة على نتائج البحث: GPT-4-LLM

بالإضافة إلى رمز التدريب ، الذي يعمل في غضون ساعات على RTX 4090 أو A100 40GB ، نقدم دفاتر ملاحظات للتنزيل والاستدلال على نموذج الأساس و Stambecco من خلال واجهة رسومية باستخدام Gradio.

شكر وتقدير

إذا رأيت ذلك ، فهذا من خلال الوقوف على شولد العمالقة. - إسحاق نيوتن

بدأنا هذا القسم بهذا الاقتباس لأن كل ما فعلناه كان ممكنًا فقط بسبب المجتمع القوي والأعمال التي قام بها الآخرون والمجموعات. من أجل عملنا ، نعتمد بشكل أساسي على الأعمال التي طورتها: Llama ، Stanford Alpaca ، Alpaca Lora ، Cabrita ، مجموعة بيانات الألبكة المنحفة ، GPT-4-LLM ، الألباكا لورا ، ودردشة الوجه. لذا ، شكرًا لكم جميعًا على العمل الرائع وشارك هذا مع العالم!

إشعارات الاستخدام والترخيص : مثل Stanford Alpaca ، Stambecco المقصود وترخيص الاستخدام البحثي فقط. مجموعة البيانات هي CC بواسطة NC SA 4.0 (مما يسمح فقط بالاستخدام غير التجاري) ويجب عدم استخدام النماذج المدربة على استخدام مجموعة البيانات خارج أغراض البحث.

يرجى ملاحظة أنه من الممكن للغاية أن يحتوي ناتج النموذج على محتوى متحيز أو مؤامر أو مسيء أو غير مناسب ومضرة. النموذج مخصص لأغراض البحث فقط ويجب استخدامه بحذر على مسؤوليتك الخاصة. استخدام الإنتاج غير مسموح به.

بيانات

قمنا بترجمة alpaca_data_cleaned.json و alpaca_gpt4_data.json إلى الإيطالية ، إضافة شيكات (على سبيل المثال إذا كان النص هو رمز -> لا تترجمه) لتحسين إخراج الترجمة. نوصي باستخدام نموذج Openai gpt-3.5-turbo لترجمة مجموعة البيانات لخفض التكاليف. حتى هذه الترجمة ليست هي الأفضل ، كانت المفاضلة بين التكاليف والنتائج. إذا كنت تريد معرفة المزيد حول كيفية بناء مجموعة البيانات ، فانتقل إلى: Stanford Alpaca ، مجموعة بيانات الألبكة التي تم تنظيفها ، GPT-4-LLM.

تمرين

لقد قمنا بتكوين نموذج LLAMA باستخدام PEFT من الوجه المعانقة. لتشغيل Finetuning على كولاب ، بالإضافة إلى LLAMA-7B و LLAMA-13B ، يوصى به وحدة معالجة الرسومات A100 40GB. مجموعات البيانات المستخدمة للتدريب هي إصدار إيطالي من مجموعة بيانات GPT-4-LLM ، ومجموعة بيانات من بيانات متابعة التعليمات GPT-4 التي تم إنشاؤها للإصدار plus من النماذج ، و MCHL-LABS/Stambecco_DATA_IT للإصدار الأساسي.

شاهد بطاقات النموذج على Luggingface لمزيد من المعلومات حول تدريبات Hyperparameters.

العب مع؟ نماذج Stambecco

إشعار المستخدم : لم يجعل Facebook أوزان Llama الرسمية مفتوحة المصدر ، على الرغم من أن روابط تنزيل الجهات الخارجية المختلفة متوفرة عبر الإنترنت ، مثل decapoda-research/llama-7b-hf في مكتبة نموذج Hugging Face. تجدر الإشارة إلى أن استخدام هذه الروابط قد لا يتوافق مع سياسات Facebook. بسبب الأسباب المذكورة أعلاه ، لا يمكن للمشروع إطلاق الأوزان الكاملة للنماذج التي تم ضبطها. ومع ذلك ، يمكن توفير أوزان Lora فقط ، والتي يمكن اعتبارها "تصحيحًا" لنموذج Llama الأصلي.

تتوفر نماذج Stambecco التي تتبع التعليمات المعدلة؟ وجه المعانقة:

• طراز Stambecco-7B الذي تم ضبطه جيدًا: MCHL-LABS/Stambecco-7B-Plus
• طراز Stambecco-13B الذي تم ضبطه: MCHL-LABS/Stambecco-13B-Plus

يمكنك استنتاج هذه النماذج باستخدام دفتر Google Colab التالي.

أصدرنا مجموعة بيانات مترجمة (Stambecco_data_it.json - الآن أيضًا على مجموعات بيانات Hugging Face) ، والنماذج (متوفرة على مركز Hugging Face) والرمز لإعادة إنتاج النتائج.

؟ ️ الاستشهادات

 @article{touvron2023llama,
  title={LLaMA: Open and Efficient Foundation Language Models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}

@misc{selfinstruct,
  title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
  author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
  journal={arXiv preprint arXiv:2212.10560},
  year={2022}
}

@misc{alpaca,
  author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {Stanford Alpaca: An Instruction-following LLaMA model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}

@misc{hu2021lora,
    title={LoRA: Low-Rank Adaptation of Large Language Models},
    author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
    year={2021},
    eprint={2106.09685},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

@inproceedings{wolf-etal-2020-transformers,
    title = "Transformers: State-of-the-Art Natural Language Processing",
    author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = oct,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
    pages = "38--45"
}

@Misc{peft,
  title =        {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
  author =       {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
  howpublished = {url{https://github.com/huggingface/peft}},
  year =         {2022}
}

@article{peng2023gpt4llm,
    title={Instruction Tuning with GPT-4},
    author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
    journal={arXiv preprint arXiv:2304.03277},
    year={2023}
}

إذا ألهمك Stambecco ورمز Stambecco ، فسيتم استخدام Models Stambecco أو Stambecco في بحثك ، يرجى الاستشهاد:

 @misc{stambecco,
  author = {Michael},
  title = {Stambecco: Italian Instruction-following LLaMA Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/mchl-labs/stambecco}},
}