stambecco
1.0.0
Stambecco ist ein italienisches Anweisungsmodell, das auf dem Lama-Modell basiert. Es kommt in zwei Versionen: 7B- und 13B -Parameter. Das gesamte Projekt wurde mit Google Colab erstellt.
Dieses Repository enthält Code für die Reproduktion des Stanford Alpaca auf Italienisch? Verwenden von Anpassungen mit niedriger Rang (LORA) von? Umarmung der Peft -Bibliothek von Face. Wir bieten ein Anweisungsmodell ähnlicher Qualität wie Text-Davinci-003, das auf einem Raspberry PI (für die Forschung) ausgeführt werden kann, und der Code kann leicht auf die 13b ausgedehnt werden.
Um den Stand der Technik für LLMs zu fördern, präsentieren wir den ersten Versuch , GPT-4 generierte Anweisungsdaten für LLM-Finetunen in Italienisch zu verwenden. Schauen Sie sich die Ergebnisse der Forschung an: GPT-4-LlM
Zusätzlich zu dem Trainingscode, der innerhalb von Stunden auf einem einzelnen RTX 4090 oder A100 40 GB ausgeführt wird, stellen wir Notebooks zum Herunterladen und Inferenz auf dem Foundation -Modell und Stambecco über eine grafische Schnittstelle mit Gradio zur Verfügung.
Wenn ich weiter gesehen habe, ist es durch das Stehen auf den Sholder of Giants. - Isaac Newton
Wir haben diesen Abschnitt mit diesem Zitat begonnen, weil alles, was wir getan haben, nur aufgrund der starken Gemeinschaft und der Arbeiten, die andere Menschen und Gruppen getan haben, möglich war. Für unsere Arbeit verlassen wir uns hauptsächlich auf die Arbeiten, die von Llama, Stanford Alpaca, Alpaka Lora, Cabrita, gereinigtem Alpaka-Datensatz, GPT-4-LlM, Alpaca-Lora-Serve, Chatgpt und umarmtem Gesicht entwickelt wurden. Also, vielen Dank für die großartige Arbeit und teilen Sie dies mit der Welt!
Nutzungs- und Lizenzbekanntmachungen : Wie Stanford Alpaka ist Stambecco nur für die Verwendung von Forschungen beabsichtigt und lizenziert. Der Datensatz ist CC von NC SA 4.0 (so dass nur nicht kommerzielle Verwendung verwendet werden kann) und Modelle, die mit dem Datensatz trainiert werden, sollten nicht außerhalb der Forschungszwecke verwendet werden.
Bitte beachten Sie, dass es sehr möglich ist, dass die Modellausgabe voreingenommener, Verschwörungen, beleidigend oder auf andere Weise unangemessene und potenziell schädliche Inhalte enthält. Das Modell ist nur für Forschungszwecke bestimmt und sollte auf eigenes Risiko mit Vorsicht verwendet werden. Produktionsnutzung ist nicht erlaubt.
Wir haben die alpaca_data_cleaned.json und alpaca_gpt4_data.json zu italienisch übersetzt und überprüft (z. B. wenn der Text Code ist -> es nicht übersetzen), um die Ausgabe der Übersetzung zu optimieren. Wir empfehlen, das OpenAI gpt-3.5-turbo Modell zu verwenden, um den Datensatz zu übersetzen, um die Kosten zu senken. Sogar diese Übersetzung ist nicht die beste, der Kompromiss zwischen Kosten und Ergebnissen. Wenn Sie mehr darüber erfahren möchten, wie der Datensatz erstellt wurde, gehen Sie zu: Stanford Alpaca, gereinigter Alpaka-Datensatz, GPT-4-Llm.
Wir haben das Lama -Modell mit Peft vor dem Umarmungsgesicht beendet. Um die Finetuning auf Colab zu leiten, zusätzlich zu Lama-7b und Lama-13b, wird eine A100 40 GB GPU empfohlen. Die für das Training verwendeten Datensätze sind eine italienische Version des GPT-4-LlM-Datensatzes, ein Datensatz von GPT-4 generierten Anweisungsdaten für die plus Version der Modelle und MchL-Labs/stambecco_data_it für die Basisversion.
Weitere Informationen zu Trainingshyperparametern finden Sie in den Modellkarten auf Huggingface.
Benutzerbescheid : Facebook hat die offiziellen Open Source-Gewichte des Lama-Modells nicht gemacht, obwohl verschiedene Download-Links von Drittanbietern online verfügbar sind, z decapoda-research/llama-7b-hf Es ist zu beachten, dass die Verwendung dieser Links möglicherweise nicht den Richtlinien von Facebook entspricht. Aus den oben genannten Gründen kann das Projekt nicht die vollständigen Gewichte von fein abgestimmten Modellen veröffentlichen. Es können jedoch nur die Lora -Gewichte bereitgestellt werden, die als "Patch" für das ursprüngliche Lama -Modell betrachtet werden können.
Die fein abgestimmten Befehlsverfolgung von Stambecco sind verfügbar? Umarmend: Gesicht:
Sie können diese Modelle mithilfe des folgenden Google Colab -Notizbuchs schließen.
Wir haben einen übersetzten Datensatz (stambecco_data_it.json - jetzt auch auf den Datensätzen von Face), die Modelle (verfügbar auf dem Hub der Umarmung) und den Code zur Reproduktion der Ergebnisse veröffentlicht.
@article{touvron2023llama,
title={LLaMA: Open and Efficient Foundation Language Models},
author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
journal={arXiv preprint arXiv:2302.13971},
year={2023}
}
@misc{selfinstruct,
title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
journal={arXiv preprint arXiv:2212.10560},
year={2022}
}
@misc{alpaca,
author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
title = {Stanford Alpaca: An Instruction-following LLaMA model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}
@misc{hu2021lora,
title={LoRA: Low-Rank Adaptation of Large Language Models},
author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
year={2021},
eprint={2106.09685},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@inproceedings{wolf-etal-2020-transformers,
title = "Transformers: State-of-the-Art Natural Language Processing",
author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = oct,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
pages = "38--45"
}
@Misc{peft,
title = {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
author = {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
howpublished = {url{https://github.com/huggingface/peft}},
year = {2022}
}
@article{peng2023gpt4llm,
title={Instruction Tuning with GPT-4},
author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
journal={arXiv preprint arXiv:2304.03277},
year={2023}
}
Wenn Stambecco Sie und Stambecco Code inspiriert, werden Stambecco -Modelle oder Stambecco -Datensätze in Ihrer Forschung verwendet, bitte geben Sie an:
@misc{stambecco,
author = {Michael},
title = {Stambecco: Italian Instruction-following LLaMA Model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/mchl-labs/stambecco}},
}
