stambecco
1.0.0
Stambecco est un modèle italien suivant les instructions basé sur le modèle de lama. Il est disponible en deux versions: les paramètres 7b et 13b. L'ensemble du projet est construit à l'aide de Google Colab .
Ce référentiel contient du code pour reproduire l'alpaga de Stanford en italien ?? en utilisant une adaptation de faible rang (LORA) fournie par? Bibliothèque PEFT de l'étreinte Face. Nous fournissons un modèle d'instruct de qualité similaire à Text-Davinci-003 qui peut fonctionner sur un Raspberry Pi (pour la recherche), et le code est facilement étendu au 13b.
Pour faire avancer l'état de l'art du réglage de l'instruction pour les LLM, nous présentons la première tentative d'utiliser des données de suivi des instructions générées par GPT-4 pour LLM Finetuning en italien . Jetez un œil aux résultats de la recherche: GPT-4-LLM
En plus du code de formation, qui fonctionne en quelques heures sur un seul RTX 4090 ou A100 40 Go, nous fournissons des cahiers pour le téléchargement et l'inférence sur le modèle de fondation et Stambecco via une interface graphique utilisant Gradio.
Si j'ai vu plus loin, c'est en se tenant sur les Sholders des Giants. - Isaac Newton
Nous avons commencé cette section avec cette citation parce que tout ce que nous avons fait n'était possible qu'en raison de la communauté forte et des travaux que d'autres personnes et groupes ont fait. Pour notre travail, nous nous appuyons principalement sur les œuvres développées par: Llama, Stanford Alpaca, Alpaca Lora, Cabrita, Nettoyed Alpaca Dataset, GPT-4-LLM, Alpaca-Lora-Seser, Chatgpt et Face étreint. Alors, merci à tous pour l'excellent travail et partagez cela avec le monde!
Avis d'utilisation et de licence : Identique à Stanford Alpaca, Stambecco est destiné et concédé en licence pour une utilisation de la recherche uniquement. L'ensemble de données est CC par NC SA 4.0 (ne permettant que l'utilisation non commerciale) et les modèles formés à l'aide de l'ensemble de données ne doivent pas être utilisés en dehors des fins de recherche.
Veuillez noter qu'il est très possible que la sortie du modèle contienne un contenu biaisé, conspiraciste, offensant ou autrement inapproprié et potentiellement nocif. Le modèle est destiné à des fins de recherche uniquement et doit être utilisé avec prudence à vos propres risques. L'utilisation de la production n'est pas autorisée.
Nous avons traduit l'ALPACA_DATA_CLEANED.JSON et ALPACA_GPT4_DATA.json à l'italien, ajoutant des chèques (par exemple, si le texte est du code -> ne le traduisez pas) pour optimiser la sortie de la traduction. Nous vous recommandons d'utiliser le modèle Openai gpt-3.5-turbo pour traduire l'ensemble de données pour réduire les coûts. Même cette traduction n'est pas la meilleure, le compromis entre les coûts et les résultats était. Si vous voulez en savoir plus sur la façon dont l'ensemble de données a été construit, allez à: Stanford alpaca, ensemble de données ALPACA nettoyé, GPT-4-llm.
Nous avons déménagé le modèle de lama en utilisant PEFT de l'étreinte Face. Pour exécuter le Finetuning sur Colab, en plus de LLAMA-7B et LLAMA-13B, il est recommandé d'un GPU A100 40GB. Les ensembles de données utilisés pour la formation sont une version italienne de l'ensemble de données GPT-4-LLM, un ensemble de données de données de suivi des instructions générées par GPT-4 pour la version plus des modèles, et MCHL-Labs / Stambecco_Data_it pour la version de base.
Voir les cartes modèles sur HuggingFace pour plus d'informations sur la formation des hyperparamètres.
Avis de l'utilisateur : Facebook n'a pas rendu les poids officiels du modèle LLAMA Open Source, bien que divers liens de téléchargement tiers soient disponibles en ligne, tels que decapoda-research/llama-7b-hf dans la bibliothèque de modèles de visage étreint. Il convient de noter que l'utilisation de ces liens peut ne pas se conformer aux politiques de Facebook. Pour les raisons mentionnées ci-dessus, le projet ne peut pas libérer les poids complets des modèles affinés. Cependant, seuls les poids LORA peuvent être fournis, ce qui peut être considéré comme un "patch" pour le modèle LLAMA d'origine.
Les modèles de stambecco qui suivent les instructions affinés sont disponibles? Visage étreint:
Vous pouvez déduire ces modèles en utilisant le cahier Google Colab suivant.
Nous avons publié un ensemble de données traduit (stambecco_data_it.json - maintenant également sur les ensembles de données de Hugging Face), les modèles (disponibles sur le hub de la face étreint) et le code pour reproduire les résultats.
@article{touvron2023llama,
title={LLaMA: Open and Efficient Foundation Language Models},
author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
journal={arXiv preprint arXiv:2302.13971},
year={2023}
}
@misc{selfinstruct,
title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
journal={arXiv preprint arXiv:2212.10560},
year={2022}
}
@misc{alpaca,
author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
title = {Stanford Alpaca: An Instruction-following LLaMA model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}
@misc{hu2021lora,
title={LoRA: Low-Rank Adaptation of Large Language Models},
author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
year={2021},
eprint={2106.09685},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@inproceedings{wolf-etal-2020-transformers,
title = "Transformers: State-of-the-Art Natural Language Processing",
author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = oct,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
pages = "38--45"
}
@Misc{peft,
title = {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
author = {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
howpublished = {url{https://github.com/huggingface/peft}},
year = {2022}
}
@article{peng2023gpt4llm,
title={Instruction Tuning with GPT-4},
author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
journal={arXiv preprint arXiv:2304.03277},
year={2023}
}
Si Stambecco vous inspire et le code Stambecco, les modèles Stambecco ou les ensembles de données Stambecco sont utilisés dans votre recherche, veuillez citer:
@misc{stambecco,
author = {Michael},
title = {Stambecco: Italian Instruction-following LLaMA Model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/mchl-labs/stambecco}},
}
