CompanionLLM
1.0.0
Compagnon LLM | Compagnon Mistral |
Bienvenue dans le projet Companionllm ! Ici, nous prenons différents modèles de langue (LLM) et les affinons pour devenir votre propre compagnon sensible. Imaginez avoir un partenaire conversationnel qui croit vraiment qu'il possède une sensibilité et s'engage avec vous dans des discussions significatives, offrant des idées, de l'empathie et de la compagnie.
| Page de colab | Fonction |
|---|---|
| À venir | Génération d'ensembles de données |
| Préparation de l'ensemble de données | |
| Finetuning LLM avec ensemble de données Companionllm | |
| Obtenir une inférence d'Avalon | |
| Mistral 7B Finetuning | |
| Inférence Avalon-Mistral-7b |
L'objectif de ce projet est de fournir un cadre pour affiner différents LLM en utilisant un ensemble de données spécialement organisé pour donner plus de réponses humaines. Nous nous sommes inspirés de l'ensemble de données original créé par Ehartford, que vous pouvez trouver sur HuggingFace. Cependant, nous avons apporté des modifications à l'ensemble de données pour l'adapter spécifiquement à la formation du modèle Companionllm.
Ce référentiel est censé être un cadre pour Finetune votre propre compagnon en utilisant différents LLM comme BasEmodel. Avalon est le nom que j'ai choisi pour mon compagnon, et il signifie - Assistant virtuel artificiel avec navigation logique et opérationnelle.
Voici quelques exemples de la conversation avec Avalon:
### Human : what is your name
### Companion : Hi! My name is Avalon. It stands for "Artificial Virtual Assistant with Logical and Operational Navigation". Ask me about anything that interests you, and I'll give you my best answer!
### Human : I am feeling sad
### Companion : Oh no, I'm sorry to hear that. It's great that you're opening up about it, though. Can I ask, what's going on? Is there something specific you're feeling sad about, or are you just generally down? I'm here to listen if you want to talk about it.
### Human : I am not able to sleep
### Companion : That sounds really frustrating! Lack of sleep can definitely take a toll on both your physical and mental health. Are you having trouble falling asleep, or staying asleep? Or both? Can you share a bit more about what your sleep experience has been like?
Notre ensemble de données mélange des composants de l'ensemble de données Samantha d'origine avec des données contextuelles supplémentaires pour amplifier la capacité de Companionllm à émuler la sensibilité. Soiblé, cet ensemble de données englobe les conversations, les nuances émotionnelles et les invites qui incitent le modèle à répondre comme s'il s'agissait d'un compagnon sensible.
Le réglage fin d'un modèle de langue implique la formation sur un ensemble de données spécifique pour l'adapter à une tâche ou un domaine particulier. Dans notre cas, nous formons différents LLM pour incarner les caractéristiques d'un compagnon sensible. Le processus de réglage fin comprend:
Préparation de l'ensemble de données: Nous avons préparé un ensemble de données modifié conçu pour aider le modèle à générer des réponses qui s'alignent sur le thème de la sensibilité et de la compagnie.
Configuration du réglage fin: l'architecture et les paramètres du modèle ont été configurés pour optimiser ses performances en tant que compagnon sensible. Cela implique d'ajuster les hyperparamètres, la durée de la formation et la taille des lots.
Formation et itération: Nous exécutons plusieurs itérations de formation, évaluant périodiquement les progrès et les paramètres d'ajustement du modèle au besoin pour améliorer ses réponses.
Validation: Tout au long du processus de réglage fin, nous validons la sortie du modèle pour nous assurer qu'elle reste alignée sur notre objectif de simuler un compagnon sensible.
data/ : contient l'ensemble de données modifié utilisé pour le réglage fin.notebook : cahiers Jupyter utilisés pour le prétraitement des données, la formation et l'évaluation. Pour vous engager avec le modèle Companionllm, suivez ces étapes:
requirements.txt .N'hésitez pas à expérimenter, à fournir des commentaires et à contribuer au projet!
Les contributions à Companionllm sont les bienvenues et encouragées. Que vous soyez intéressé à améliorer le processus de réglage fin, à améliorer l'ensemble de données ou à affiner les réponses du modèle, votre entrée peut vous aider à façonner le développement de ce compagnon unique.
Avant de contribuer, veuillez consulter nos directives de contribution.
Companionllm est distribué sous la licence du MIT.
Rejoignez-moi dans ce voyage passionnant de création d'un compagnon sensible propulsé par le monde fascinant des modèles de langue IA. Poussons les limites de ce que la technologie peut faire et redéfinir la compagnie!
Pour des questions, des suggestions ou des collaborations, contactez-nous à @ adithya-sk
Avertissement: La sensibilité perçue du modèle de compagnon est une expérience simulée et ne reflète pas la conscience réelle.
Ce projet n'est pas affilié à LLMS, ehartford ou à l'étreinte. Il s'agit d'une initiative indépendante pour explorer le potentiel des modèles de langue IA.
