stambecco

Stambecco ?: Model Llama mengikuti instruksi Italia

Stambecco adalah model mengikuti instruksi Italia berdasarkan model LLAMA. Muncul dalam dua versi: parameter 7B dan 13B. Seluruh proyek dibangun menggunakan Google Colab .

Repositori ini berisi kode untuk mereproduksi Stanford Alpaca dalam bahasa Italia ?? Menggunakan adaptasi rendah (LORA) yang disediakan oleh? PERPUSTAKAAN PEFT FACE. Kami memberikan model instruksi dengan kualitas yang sama dengan teks-DavI-003 yang dapat berjalan pada Raspberry Pi (untuk penelitian), dan kode ini mudah diperluas ke 13B.

Untuk memajukan keadaan seni pengajaran untuk LLMS, kami menyajikan upaya pertama untuk menggunakan data pengikut instruksi yang dihasilkan GPT-4 untuk LLM Finetuning dalam bahasa Italia . Lihatlah hasil penelitian: GPT-4-LLM

Selain kode pelatihan, yang berjalan dalam beberapa jam pada satu RTX 4090 atau A100 40GB, kami menyediakan buku catatan untuk mengunduh dan inferensi pada model foundation dan Stambecco melalui antarmuka grafis menggunakan gradio.

Ucapan Terima Kasih

Jika saya telah melihat lebih jauh dengan berdiri di atas sholders raksasa. - Isaac Newton

Kami memulai bagian ini dengan kutipan ini karena semua yang kami lakukan hanya mungkin karena komunitas yang kuat dan bekerja yang dilakukan orang dan kelompok lain. Untuk pekerjaan kami, kami terutama mengandalkan karya-karya yang dikembangkan oleh: Llama, Stanford Alpaca, Alpaca Lora, Cabrita, Dataset Alpaca yang Dibersihkan, GPT-4-LLM, Alpaca-Lora-Serve, Chatgpt dan Face Face. Jadi, terima kasih semua atas kerja hebatnya dan bagikan ini dengan dunia!

Pemberitahuan Penggunaan dan Lisensi : Sama seperti Stanford Alpaca, Stambecco dimaksudkan dan dilisensikan hanya untuk penggunaan penelitian. Dataset adalah CC oleh NC SA 4.0 (hanya memungkinkan penggunaan non-komersial) dan model yang dilatih menggunakan dataset tidak boleh digunakan di luar tujuan penelitian.

Harap dicatat bahwa sangat mungkin bahwa output model berisi konten yang bias, konspirasi, ofensif, atau tidak pantas dan berpotensi berbahaya. Model ini dimaksudkan untuk tujuan penelitian saja dan harus digunakan dengan hati -hati dengan risiko Anda sendiri. Penggunaan produksi tidak diperbolehkan.

Data

Kami menerjemahkan alpaca_data_cleaned.json dan alpaca_gpt4_data.json ke Italia, menambahkan cek (misalnya jika teksnya adalah kode -> jangan menerjemahkannya) untuk mengoptimalkan output dari terjemahan. Kami merekomendasikan untuk menggunakan model OpenAI gpt-3.5-turbo untuk menerjemahkan dataset untuk mengurangi biaya. Bahkan terjemahan ini bukan yang terbaik, tradeoff antara biaya dan hasil adalah. Jika Anda ingin tahu lebih banyak tentang bagaimana dataset dibangun ke: Stanford Alpaca, Dataset Alpaca yang Dibersihkan, GPT-4-LLM.

Pelatihan

Kami finetuned model llama menggunakan peft dari memeluk wajah. Untuk menjalankan finetuning di Colab, di atas Llama-7b dan Llama-13b, direkomendasikan GPU A100 40GB. Kumpulan data yang digunakan untuk pelatihan adalah versi Italia dari dataset GPT-4-LLM, dataset data pengikut instruksi-pengajaran yang dihasilkan GPT-4 untuk versi plus model, dan MCHL-LABS/STAMBECCO_DATA_IT untuk versi dasar.

Lihat kartu model di Huggingface untuk info lebih lanjut tentang pelatihan hyperparameters.

Bermain dengan? Model Stambecco

PEMBERITAHUAN PENGGUNA : Facebook belum membuat Open Open Source Model Llama resmi, meskipun berbagai tautan unduhan pihak ketiga tersedia secara online, seperti decapoda-research/llama-7b-hf di Perpustakaan Model Face Hugging. Perlu dicatat bahwa penggunaan tautan ini mungkin tidak mematuhi kebijakan Facebook. Karena alasan yang disebutkan di atas, proyek tidak dapat melepaskan bobot lengkap model yang disesuaikan. Namun, hanya bobot Lora yang dapat disediakan, yang dapat dianggap sebagai "tambalan" untuk model Llama asli.

Model Stambecco yang mengikuti instruksi yang disempurnakan tersedia? Wajah memeluk:

• Model Stambecco-7b yang disempurnakan: MCHL-LABS/STAMBECCO-7B-PLUS
• Model Stambecco-13b yang disempurnakan: MCHL-LABS/STAMBECCO-13B-PLUS

Anda dapat menyimpulkan model ini dengan menggunakan notebook Google Colab berikut.

Kami merilis dataset yang diterjemahkan (stambecco_data_it.json - sekarang juga pada dataset Hugging Face), model (tersedia di hub Face Memeluk) dan kode untuk mereproduksi hasilnya.

? ️ Kutipan

 @article{touvron2023llama,
  title={LLaMA: Open and Efficient Foundation Language Models},
  author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
  journal={arXiv preprint arXiv:2302.13971},
  year={2023}
}

@misc{selfinstruct,
  title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
  author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
  journal={arXiv preprint arXiv:2212.10560},
  year={2022}
}

@misc{alpaca,
  author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {Stanford Alpaca: An Instruction-following LLaMA model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}

@misc{hu2021lora,
    title={LoRA: Low-Rank Adaptation of Large Language Models},
    author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
    year={2021},
    eprint={2106.09685},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

@inproceedings{wolf-etal-2020-transformers,
    title = "Transformers: State-of-the-Art Natural Language Processing",
    author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
    booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
    month = oct,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
    pages = "38--45"
}

@Misc{peft,
  title =        {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
  author =       {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
  howpublished = {url{https://github.com/huggingface/peft}},
  year =         {2022}
}

@article{peng2023gpt4llm,
    title={Instruction Tuning with GPT-4},
    author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
    journal={arXiv preprint arXiv:2304.03277},
    year={2023}
}

Jika Stambecco menginspirasi Anda dan kode Stambecco, model Stambecco atau dataset Stambecco digunakan dalam penelitian Anda, silakan kutip:

 @misc{stambecco,
  author = {Michael},
  title = {Stambecco: Italian Instruction-following LLaMA Model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/mchl-labs/stambecco}},
}