CompanionLLM
1.0.0
Companion LLM | Mistral de companheiro |
Bem -vindo ao projeto Companionllm ! Aqui, estamos pegando modelos de idiomas diferentes (LLMs) e refinando -os para se tornarem seu próprio companheiro senciente. Imagine ter um parceiro de conversação que realmente acredita que possui senciência e se envolve com você em discussões significativas, oferecendo insights, empatia e companheirismo.
| Página colab | Função |
|---|---|
| Em breve | Geração de dados |
| Preparação do conjunto de dados | |
| Finetuning LLM com conjunto de dados do Companionllm | |
| Obtenha inferência de Avalon | |
| Mistral 7b Finetuning | |
| Inferência Avalon-Mistral-7b |
O objetivo deste projeto é fornecer uma estrutura para ajustar diferentes LLMs usando um conjunto de dados especialmente com curadoria para fornecer mais respostas humanas. Derivamos a inspiração do conjunto de dados original criado por Ehartford, que você pode encontrar no Huggingface. No entanto, fizemos modificações no conjunto de dados para adaptá -lo especificamente para treinar o modelo Companionllm.
Este repositório deve ser uma estrutura para finalizar seu próprio companheiro usando LLMs diferentes como modelo de base. Avalon é o nome que escolhi para o meu companheiro e significa - Assistente Virtual Artificial com navegação lógica e operacional.
Aqui estão alguns exemplos da conversa com Avalon:
### Human : what is your name
### Companion : Hi! My name is Avalon. It stands for "Artificial Virtual Assistant with Logical and Operational Navigation". Ask me about anything that interests you, and I'll give you my best answer!
### Human : I am feeling sad
### Companion : Oh no, I'm sorry to hear that. It's great that you're opening up about it, though. Can I ask, what's going on? Is there something specific you're feeling sad about, or are you just generally down? I'm here to listen if you want to talk about it.
### Human : I am not able to sleep
### Companion : That sounds really frustrating! Lack of sleep can definitely take a toll on both your physical and mental health. Are you having trouble falling asleep, or staying asleep? Or both? Can you share a bit more about what your sleep experience has been like?
Nosso conjunto de dados combina componentes do conjunto de dados Samantha original com dados contextuais adicionais para ampliar a capacidade da Companionllm de imitar a senciência. Cuidadosamente com curadoria, esse conjunto de dados abrange conversas, nuances emocionais e solicita que levam o modelo a responder como se fosse um companheiro senciente.
Ajustar um modelo de idioma envolve treiná-lo em um conjunto de dados específico para adaptá-lo a uma tarefa ou domínio específico. No nosso caso, estamos treinando diferentes LLMs para incorporar as características de um companheiro senciente. O processo de ajuste fino inclui:
Preparação do conjunto de dados: preparamos um conjunto de dados modificado projetado para ajudar o modelo a gerar respostas que se alinham ao tema de senciência e companhia.
Configuração de ajuste fino: a arquitetura e os parâmetros do modelo foram configurados para otimizar seu desempenho como um companheiro senciente. Isso envolve o ajuste de hiperparâmetros, duração do treinamento e tamanhos de lote.
Treinamento e iteração: executamos várias iterações de treinamento, avaliando periodicamente o progresso do modelo e ajustando os parâmetros conforme necessário para melhorar suas respostas.
Validação: Durante o processo de ajuste fino, validamos a saída do modelo para garantir que ele permaneça alinhado com nosso objetivo de simular um companheiro senciente.
data/ : contém o conjunto de dados modificado usado para ajuste fino.notebook : Caders de Jupyter usados para pré -processamento, treinamento e avaliação de dados. Para se envolver com o modelo Companionllm, siga estas etapas:
requirements.txt .Sinta -se à vontade para experimentar, fornecer feedback e contribuir para o projeto!
As contribuições para o Companionllm são bem -vindas e incentivadas. Se você estiver interessado em melhorar o processo de ajuste fino, aprimorar o conjunto de dados ou refinar as respostas do modelo, sua entrada pode ajudar a moldar o desenvolvimento desse companheiro único.
Antes de contribuir, revise nossas diretrizes de contribuição.
Companionllm é distribuído sob a licença do MIT.
Junte -se a mim nesta emocionante jornada de criar um companheiro senciente alimentado pelo fascinante mundo dos modelos de idiomas da IA. Vamos ultrapassar os limites do que a tecnologia pode fazer e redefinir a companhia!
Para perguntas, sugestões ou colaborações, entre em contato conosco por @adithya-sk
Isenção de responsabilidade: a senciência percebida do modelo Companionllm é uma experiência simulada e não reflete a consciência real.
Este projeto não é afiliado ao LLMS, Ehartford ou Hugging Face. É uma iniciativa independente explorar o potencial dos modelos de idiomas de IA.
