stambecco

stambecco?: แบบจำลองการเรียนการสอนภาษาอิตาลีตามแบบจำลอง Llama

Stambecco เป็นแบบจำลองการเรียนการสอนแบบอิตาลีตามโมเดล Llama มันมาในสองเวอร์ชัน: พารามิเตอร์ 7B และ 13B โครงการทั้งหมดถูกสร้างขึ้นโดยใช้ Google Colab

ที่เก็บนี้มีรหัสสำหรับการทำซ้ำ Stanford Alpaca ในอิตาลี? การใช้การปรับระดับต่ำ (LORA) ที่จัดทำโดย? กอดห้องสมุด Peft ของใบหน้า เราให้บริการแบบจำลองที่มีคุณภาพคล้ายกับ Text-Davinci-003 ที่สามารถทำงานบน Raspberry Pi (สำหรับการวิจัย) และรหัสสามารถขยายไปยัง 13B ได้อย่างง่ายดาย

เพื่อพัฒนาสถานะของศิลปะการปรับแต่งการเรียนการสอนสำหรับ LLMS เรานำเสนอความพยายามครั้งแรกในการใช้ ข้อมูลคำสั่งที่สร้างขึ้นเพื่อติดตามคำสั่ง GPT-4 สำหรับ LLM finetuning ในอิตาลี ดูผลการวิจัย: GPT-4-LLM

นอกเหนือจากรหัสการฝึกอบรมซึ่งทำงานภายในไม่กี่ชั่วโมงใน RTX 4090 หรือ A100 40GB เดียวเรามีโน้ตบุ๊กสำหรับการดาวน์โหลดและการอนุมานในรูปแบบพื้นฐานและ Stambecco ผ่านอินเทอร์เฟซกราฟิกโดยใช้ Gradio

กิตติกรรมประกาศ

ถ้าฉันได้เห็นเพิ่มเติมมันคือการยืนอยู่บน sholders ของยักษ์ - Isaac Newton

เราเริ่มต้นส่วนนี้ด้วยการอ้างอิงนี้เพราะทุกสิ่งที่เราทำนั้นเป็นไปได้เท่านั้นเนื่องจากชุมชนที่แข็งแกร่งและงานที่คนและกลุ่มอื่นทำ สำหรับงานของเราเราพึ่งพาผลงานที่พัฒนาโดย: Llama, Stanford Alpaca, Alpaca Lora, Cabrita, ทำความสะอาดชุดข้อมูล Alpaca, GPT-4-LLM, Alpaca-Lora-Serve, Chatgpt และ Hugging Face ดังนั้นขอขอบคุณทุกท่านสำหรับการทำงานที่ยอดเยี่ยมและแบ่งปันสิ่งนี้กับโลก!

ประกาศการใช้งานและใบอนุญาต : เหมือนกับ Stanford Alpaca, Stambecco มีจุดประสงค์และได้รับใบอนุญาตสำหรับการใช้งานวิจัยเท่านั้น ชุดข้อมูลคือ CC โดย NC SA 4.0 (อนุญาตให้ใช้งานที่ไม่ใช่เชิงพาณิชย์เท่านั้น) และแบบจำลองที่ผ่านการฝึกอบรมโดยใช้ชุดข้อมูลไม่ควรใช้นอกวัตถุประสงค์ในการวิจัย

โปรดทราบว่ามีความเป็นไปได้สูงที่เอาต์พุตแบบจำลองจะมีอคติผู้สมรู้ร่วมคิดที่ไม่เหมาะสมหรือไม่เหมาะสมและอาจเป็นอันตราย แบบจำลองมีวัตถุประสงค์เพื่อ วัตถุประสงค์ในการวิจัยเท่านั้น และควรใช้ด้วยความระมัดระวังในความเสี่ยงของคุณเอง ไม่อนุญาตให้ใช้การผลิต

ข้อมูล

เราแปล alpaca_data_cleaned.json และ alpaca_gpt4_data.json เป็นภาษาอิตาลีเพิ่มการตรวจสอบ (เช่นถ้าข้อความคือรหัส -> อย่าแปล) เพื่อเพิ่มประสิทธิภาพการแปล เราขอแนะนำให้ใช้โมเดล OpenAI gpt-3.5-turbo เพื่อแปลชุดข้อมูลเพื่อลดต้นทุน แม้แต่การแปลนี้ก็ไม่ได้ดีที่สุดการแลกเปลี่ยนระหว่างต้นทุนและผลลัพธ์ก็คือ หากคุณต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับวิธีการสร้างชุดข้อมูลไปที่: Stanford Alpaca ทำความสะอาดชุดข้อมูล Alpaca, GPT-4-LLM

การฝึกอบรม

เราทำโมเดล Llama โดยใช้ Peft จากการกอดใบหน้า ในการเรียกใช้ finetuning บน colab บน LLAMA-7B และ LLAMA-13B ขอแนะนำให้ใช้ GPU A100 40GB GPU ชุดข้อมูลที่ใช้สำหรับการฝึกอบรมเป็นชุดข้อมูล GPT-4-LLM เวอร์ชันอิตาลีซึ่งเป็นชุดข้อมูลของ GPT-4 ที่สร้างข้อมูลคำสั่งที่ตามมาสำหรับรุ่น plus ของรุ่น Plus และ MCHL-LABS/Stambecco_Data_it สำหรับรุ่นพื้นฐาน

ดูการ์ดรุ่นบน HuggingFace สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการฝึกอบรม hyperparameters

เล่นกับ? โมเดล Stambecco

ประกาศของผู้ใช้ : Facebook ยังไม่ได้สร้างโอเพ่นซอร์สของรุ่น Llama อย่างเป็นทางการแม้ว่าลิงก์ดาวน์โหลดของบุคคลที่สามต่าง ๆ จะมีให้ออนไลน์เช่น decapoda-research/llama-7b-hf ในห้องสมุด Hugging Face Model ควรสังเกตว่าการใช้ลิงก์เหล่านี้อาจไม่สอดคล้องกับนโยบายของ Facebook เนื่องจากเหตุผลที่กล่าวถึงข้างต้นโครงการไม่สามารถปล่อยน้ำหนักที่สมบูรณ์ของโมเดลที่ปรับแต่งได้อย่างสมบูรณ์ อย่างไรก็ตามมีเพียงน้ำหนัก LORA เท่านั้นที่สามารถให้ได้ซึ่งถือได้ว่าเป็น "แพตช์" สำหรับรุ่น Llama ดั้งเดิม

รุ่น Stambecco แบบติดตามคำสั่งที่ปรับแต่งได้หรือไม่? กอดหน้า:

• รุ่น Stambecco-7B ที่ปรับแต่งได้อย่างละเอียด: MCHL-LABS/Stambecco-7B-Plus
• รุ่น Stambecco-13b ที่ปรับแต่งได้อย่างละเอียด: MCHL-LABS/Stambecco-13b-plus

คุณสามารถอนุมานโมเดลเหล่านี้ได้โดยใช้สมุดบันทึก Google Colab ต่อไปนี้

เราเปิดตัวชุดข้อมูลที่แปลแล้ว (stambecco_data_it.json - ตอนนี้ยังอยู่ในชุดข้อมูลของ Hugging Face) รุ่น (มีอยู่บนฮับของ Hugging Face) และรหัสเพื่อสร้างผลลัพธ์ซ้ำ

? ️การอ้างอิง

 @article{touvron2023llama,
  title={LLaMA: Open and Efficient Foundation Language Models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}

@misc{selfinstruct,
  title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
  author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
  journal={arXiv preprint arXiv:2212.10560},
  year={2022}
}

@misc{alpaca,
  author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {Stanford Alpaca: An Instruction-following LLaMA model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}

@misc{hu2021lora,
    title={LoRA: Low-Rank Adaptation of Large Language Models},
    author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
    year={2021},
    eprint={2106.09685},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

@inproceedings{wolf-etal-2020-transformers,
    title = "Transformers: State-of-the-Art Natural Language Processing",
    author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = oct,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
    pages = "38--45"
}

@Misc{peft,
  title =        {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
  author =       {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
  howpublished = {url{https://github.com/huggingface/peft}},
  year =         {2022}
}

@article{peng2023gpt4llm,
    title={Instruction Tuning with GPT-4},
    author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
    journal={arXiv preprint arXiv:2304.03277},
    year={2023}
}

หาก Stambecco เป็นแรงบันดาลใจให้คุณและรหัส Stambecco รุ่น Stambecco หรือชุดข้อมูล Stambecco ใช้ในการวิจัยของคุณโปรดอ้างอิง:

 @misc{stambecco,
  author = {Michael},
  title = {Stambecco: Italian Instruction-following LLaMA Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/mchl-labs/stambecco}},
}