Zicklein
1.0.0
Ce référentiel est destiné à une version allemande à finetume du modèle LLAMA. Ce modèle est conçu pour l'utilisation de la recherche uniquement.
** Entraînement actuellement avec Llama 2 (31.08.2023) **
L'espace est actuellement hors ligne.
Si j'ai vu plus loin, c'est en se tenant à l'arrière d'un lama. - Isaac Newton
Grâce à la version portugaise à finetume de Llama, Cabrita, pour l'inspiration de ce projet. Grâce également à Meta AI pour avoir développé et entraîné le modèle de base du Llama et déclencher l'ère de la finetuning, de demander les poids du modèle LLAMA ici.
Une version translatée en allemand de l'ensemble de données nettoyée de Stanford Alpaca a été utilisée. L'ensemble de données d'alpaca Stanford d'origine est disponible ici. La traduction a été effectuée via le facebook/wmt19-en-de model de HuggingFace? Moyeu.
Plus d'informations sur la configuration de l'ensemble de données peuvent être trouvées ici: Stanford Alpaca.
Le modèle LLAMA-7B de base a été finetuné en utilisant la méthode LORA en quantification 8 bits, en utilisant des parties du code d'Alpaca Lora Fork, qui utilise PEFT à partir de HuggingFace ?. Le script Finetuning est situé ici. Le Finetuning a été effectué en utilisant un seul GPU A100 40GB pour 1000 étapes.
Les points de contrôle du modèle Finetuned peuvent être téléchargés sur HuggingFace ?:
Alpaca Stanford:
In welchen Ländern gibt es Lamas?
Llamas can be found in Bolivia, Peru, Chile, Ecuador, and Argentina.
Zicklein:
In welchen Ländern gibt es Lamas?
Lamas gibt es in den folgenden Ländern: Argentinien, Bolivien, Brasilien, Chile, Ecuador, Kolumbien,
Peru, Uruguay und Venezuela.
Alpaca Stanford:
Was ist die Rolle des Präsidenten?
The role of the President is to serve as the head of state and the commander-in-chief of the armed
forces. The President is responsible for executing the laws of the land, appointing judges and other
government officials, and representing the United States in international relations.
Zicklein:
Was ist die Rolle des Präsidenten?
Die Rolle des Präsidenten besteht darin, die Verfassung der Vereinigten Staaten zu verwalten und die
Regierung zu leiten.
