stambecco
1.0.0
Stambecco-это итальянская модель, связанная с инструкциями, основанная на модели Llama. Он поставляется в двух версиях: параметры 7b и 13b. Весь проект построен с использованием Google Colab .
Этот репозиторий содержит код для воспроизведения Стэнфордской альпаки на итальянском? Используя адаптацию с низкой ранкой (LORA), предоставленную? Объятие лиц в Пефт Библиотека. Мы предоставляем инструкционную модель качества, аналогичного качеству, текстово-давини-003, которая может работать на Raspberry Pi (для исследований), а код легко распространяется на 13B.
Чтобы продвинуть состояние искусства настройки инструкций для LLMS, мы представляем первую попытку использовать GPT-4 сгенерированные инструкции, посвященные инструкциям для создания LLM на итальянском языке . Взгляните на результаты исследования: GPT-4-LLM
В дополнение к учебному коду, который работает в течение нескольких часов на одном RTX 4090 или A100 40 ГБ, мы предоставляем тетради для загрузки и вывода на модель Foundation и Stambecco через графический интерфейс с использованием Gradio.
Если я видел дальше, это стоит, стоять на дрожащих гигантах. - Исаак Ньютон
Мы начали этот раздел с этой цитаты, потому что все, что мы делали, было возможно только благодаря сильному сообществу и работам, которые делали другие люди и группы. Для нашей работы мы полагаемся в основном на работы, разработанные: Llama, Stanford Alpaca, Alpaca Lora, Cabrita, очищенным набором данных Alpaca, GPT-4-LLM, Alpaca-Lora-Serve, Chatgpt и обнимающим лицом. Итак, спасибо всем за отличную работу и поделились этим с миром!
Уведомления об использовании и лицензии : так же, как Стэнфордская Альпака, предназначена и лицензирована только для исследования. Набор данных-CC от NC SA 4.0 (позволяя использовать только некоммерческое использование), и модели, обученные с использованием набора данных, не должны использоваться вне целей исследования.
Обратите внимание, что вполне возможно, что выход модели содержит смещенное, заговорщичное, оскорбительное или иное неуместное и потенциально вредное содержание. Модель предназначена только для исследовательских целей и должна использоваться с осторожностью на ваш собственный риск. Использование производства не разрешено.
Мы перевели alpaca_data_cleaned.json и alpaca_gpt4_data.json на итальянский язык, добавив чеки (например, если текст -это код -> не переводите его), чтобы оптимизировать вывод перевода. Мы рекомендуем использовать модель OpenAI gpt-3.5-turbo для перевода набора данных для снижения затрат. Даже этот перевод не самый лучший, компромисс между затратами и результатами был. Если вы хотите узнать больше о том, как был построен набор данных, перейдите к: Стэнфордская альпака, очищенный набор данных Alpaca, GPT-4-LLM.
Мы создали модель ламы, используя PEFT от обнимающего лица. Чтобы запустить создание на Colab, на вершине Llama-7B и Llama-13b, это рекомендуется A100 40 ГБ графического процессора. Наборы данных, используемые для обучения, представляют собой итальянскую версию набора данных GPT-4-LLM, набор данных GPT-4 , сгенерированных инструкциями для данных для моделей plus , и MCHL-LABS/STAMBCCO_DATA_IT для базовой версии.
Смотрите модельные карты на Huggingface для получения дополнительной информации о обучении гиперпараметрам.
Уведомление пользователя : Facebook не сделал официальных весов модели Llama с открытым исходным кодом, хотя различные сторонние ссылки загрузки доступны в Интернете, такие как decapoda-research/llama-7b-hf в библиотеке модели объятия лица. Следует отметить, что использование этих ссылок может не соответствовать политике Facebook. По причинам, упомянутым выше, проект не может выпустить полные веса тонких моделей. Однако могут быть предоставлены только веса LORA, которые можно рассматривать как «патч» для оригинальной модели ламы.
Модели STAMBECCO с тонкой настройкой, посвященные инструкциям, доступны? Обнимающееся лицо:
Вы можете сделать вывод этих моделей, используя следующую ноутбук Google Colab.
Мы выпустили переведенный набор данных (stambecco_data_it.json - теперь также на наборах данных об объятиях лица), модели (доступны в концентраторе обнимающего лица) и код для воспроизведения результатов.
@article{touvron2023llama,
title={LLaMA: Open and Efficient Foundation Language Models},
author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
journal={arXiv preprint arXiv:2302.13971},
year={2023}
}
@misc{selfinstruct,
title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
journal={arXiv preprint arXiv:2212.10560},
year={2022}
}
@misc{alpaca,
author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
title = {Stanford Alpaca: An Instruction-following LLaMA model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}
@misc{hu2021lora,
title={LoRA: Low-Rank Adaptation of Large Language Models},
author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
year={2021},
eprint={2106.09685},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@inproceedings{wolf-etal-2020-transformers,
title = "Transformers: State-of-the-Art Natural Language Processing",
author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = oct,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
pages = "38--45"
}
@Misc{peft,
title = {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
author = {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
howpublished = {url{https://github.com/huggingface/peft}},
year = {2022}
}
@article{peng2023gpt4llm,
title={Instruction Tuning with GPT-4},
author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
journal={arXiv preprint arXiv:2304.03277},
year={2023}
}
Если Stambecco вдохновляет вас и Stambecco Code, в вашем исследовании используются модели Stambecco или наборы Stambecco, пожалуйста, цитируйте:
@misc{stambecco,
author = {Michael},
title = {Stambecco: Italian Instruction-following LLaMA Model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/mchl-labs/stambecco}},
}
