stambecco
1.0.0
Stambeccoは、Llamaモデルに基づいたイタリアの指導モデルです。 7Bと13Bのパラメーターの2つのバージョンがあります。プロジェクト全体は、 Google Colabを使用して構築されています。
このリポジトリには、イタリア語でスタンフォードアルパカを再現するためのコードが含まれていますか？によって提供される低ランク適応（LORA）を使用しますか？ FaceのPEFTライブラリを抱き締める。 Raspberry Pi（研究用）で実行できるText-Davinci-003と同様の品質の指示モデルを提供し、コードは13Bに簡単に拡張できます。
LLMSの命令調整の最先端を進めるために、イタリア語でのLLM FinetuningにGPT-4生成された命令に従うデータを使用する最初の試みを提示します。研究の結果を見てください：GPT-4-llm
単一のRTX 4090またはA100 40GBで数時間以内に実行されるトレーニングコードに加えて、Gradioを使用したグラフィカルインターフェイスを介して、基礎モデルとStambeccoのダウンロードと推論のためのノートブックを提供します。
私がさらに見たことがあるなら、それは巨人のショルダーの上に立っていることです。 - アイザック・ニュートン
このセクションは、このセクションを始めました。なぜなら、私たちがしたことはすべて、強力なコミュニティと他の人々やグループが行ったように働いたためにのみ可能だったからです。私たちの仕事のために、私たちは主に、ラマ、スタンフォード・アルパカ、アルパカ・ロラ、カブリタ、アルパカデータセット、GPT-4-llm、アルパカ・ロラ・セルブ、チャットグプト、ハグの顔によって開発された作品に依存しています。だから、素晴らしい仕事をありがとう、そしてこれを世界と共有してください！
使用およびライセンス通知：スタンフォードアルパカと同じ、スタンベッコは研究のみを意図し、ライセンスを取得しています。データセットはNC SA 4.0によるCC（非営利的な使用のみを可能にします）であり、データセットを使用してトレーニングされたモデルは、研究目的以外では使用しないでください。
モデル出力には、偏った、陰謀主義者、攻撃的、または不適切で潜在的に有害なコンテンツが含まれている可能性が高いことに注意してください。このモデルは、研究目的のみを目的としており、お客様の責任で注意して使用する必要があります。生産の使用は許可されていません。
alpaca_data_cleaned.jsonとalpaca_gpt4_data.jsonをイタリア語に翻訳し、翻訳の出力を最適化するためにチェック（テキストがコードの場合 - >翻訳しない）を追加しました。 Openai gpt-3.5-turboモデルを使用して、データセットを翻訳してコストを削減することをお勧めします。この翻訳でさえ最高ではなく、コストと結果のトレードオフはそうでした。データセットの構築方法について詳しく知りたい場合は、スタンフォードアルパカ、クリーニングされたアルパカデータセット、GPT-4-LLMに行きます。
顔からのPEFTを使用して、Llamaモデルに微調ューしました。 llama-7bとllama-13bの上にあるColabでFinetuningを実行するには、A100 40GB GPUをお勧めします。トレーニングに使用されるデータセットは、GPT-4-LLMデータセットのイタリア語バージョンであり、 GPT-4生成されたモデルのplusバージョンの命令に従うデータのデータセット、およびベースバージョンのMCHL-LABS/STAMBECCO_DATA_ITです。
ハイパーパラメーターのトレーニングの詳細については、Huggingfaceのモデルカードを参照してください。
ユーザー通知：Facebookは公式のLlamaモデルの重みをオープンソースにしていませんが、抱きしめるフェイスモデルライブラリのdecapoda-research/llama-7b-hfなど、さまざまなサードパーティのダウンロードリンクがオンラインで利用できます。これらのリンクの使用は、Facebookのポリシーに準拠していない可能性があることに注意する必要があります。上記の理由により、プロジェクトは微調整されたモデルの完全な重みをリリースすることはできません。ただし、LORAウェイトのみを提供できます。これは、元のLlamaモデルの「パッチ」と見なすことができます。
微調整された命令に従うStambeccoモデルは利用できますか？顔を抱き締める：
次のGoogle Colabノートブックを使用して、これらのモデルを推測できます。
翻訳されたデータセット（stambecco_data_it.json -hugging faceのデータセット）、モデル（hugging hugging faceのハブで利用可能）、および結果を再現するコードをリリースしました。
@article{touvron2023llama,
title={LLaMA: Open and Efficient Foundation Language Models},
author={Touvron, Hugo and Lavril, Thibaut and Izacard, Gautier and Martinet, Xavier and Lachaux, Marie-Anne and Lacroix, Timoth{'e}e and Rozi{`e}re, Baptiste and Goyal, Naman and Hambro, Eric and Azhar, Faisal and Rodriguez, Aurelien and Joulin, Armand and Grave, Edouard and Lample, Guillaume},
journal={arXiv preprint arXiv:2302.13971},
year={2023}
}
@misc{selfinstruct,
title={Self-Instruct: Aligning Language Model with Self Generated Instructions},
author={Wang, Yizhong and Kordi, Yeganeh and Mishra, Swaroop and Liu, Alisa and Smith, Noah A. and Khashabi, Daniel and Hajishirzi, Hannaneh},
journal={arXiv preprint arXiv:2212.10560},
year={2022}
}
@misc{alpaca,
author = {Rohan Taori and Ishaan Gulrajani and Tianyi Zhang and Yann Dubois and Xuechen Li and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
title = {Stanford Alpaca: An Instruction-following LLaMA model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/tatsu-lab/stanford_alpaca}},
}
@misc{hu2021lora,
title={LoRA: Low-Rank Adaptation of Large Language Models},
author={Hu, Edward and Shen, Yelong and Wallis, Phil and Allen-Zhu, Zeyuan and Li, Yuanzhi and Wang, Lu and Chen, Weizhu},
year={2021},
eprint={2106.09685},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@inproceedings{wolf-etal-2020-transformers,
title = "Transformers: State-of-the-Art Natural Language Processing",
author = "Thomas Wolf and Lysandre Debut and Victor Sanh and Julien Chaumond and Clement Delangue and Anthony Moi and Pierric Cistac and Tim Rault and Rémi Louf and Morgan Funtowicz and Joe Davison and Sam Shleifer and Patrick von Platen and Clara Ma and Yacine Jernite and Julien Plu and Canwen Xu and Teven Le Scao and Sylvain Gugger and Mariama Drame and Quentin Lhoest and Alexander M. Rush",
booktitle = "Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations",
month = oct,
year = "2020",
address = "Online",
publisher = "Association for Computational Linguistics",
url = "https://www.aclweb.org/anthology/2020.emnlp-demos.6",
pages = "38--45"
}
@Misc{peft,
title = {PEFT: State-of-the-art Parameter-Efficient Fine-Tuning methods},
author = {Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes Belkada, Sayak Paul},
howpublished = {url{https://github.com/huggingface/peft}},
year = {2022}
}
@article{peng2023gpt4llm,
title={Instruction Tuning with GPT-4},
author={Baolin Peng, Chunyuan Li, Pengcheng He, Michel Galley, Jianfeng Gao},
journal={arXiv preprint arXiv:2304.03277},
year={2023}
}
StambeccoがあなたとStambeccoコード、StambeccoモデルまたはStambeccoデータセットがあなたの研究で使用されている場合、引用してください：
@misc{stambecco,
author = {Michael},
title = {Stambecco: Italian Instruction-following LLaMA Model},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/mchl-labs/stambecco}},
}
