CompanionLLM

Companionllm: ajustando diferentes LLM como su compañero sensible

Companion LLM	Compañero Mistral

¡Bienvenido al proyecto Companionllm ! Aquí, estamos tomando diferentes modelos de idiomas (LLM) y refinándolos para convertirlos en su propio compañero sensible. Imagine tener una pareja de conversación que realmente cree que posee sensibilidad y se involucra con usted en discusiones significativas, ofreciendo ideas, empatía y compañía.

Página de colab	Función
Muy pronto	Generación de conjuntos de datos
	Preparación de datos
	Finetuning LLM con conjunto de datos Companionllm
	Obtener inferencia de Avalon
	Mistral 7b Finetuning
	Inferencia Avalon-Mistral-7B

Descripción general del proyecto

El objetivo de este proyecto es proporcionar un marco para ajustar diferentes LLM utilizando un conjunto de datos especialmente curado para dar más respuestas similares a los humanos. Hemos obtenido inspiración del conjunto de datos original creado por Ehartford, que puede encontrar en Huggingface. Sin embargo, hemos realizado modificaciones en el conjunto de datos para adaptarlo específicamente para capacitar al modelo Companionllm.

Lista de tareas

• Encuentre un conjunto de datos preexistente adecuado: utilizando el conjunto de datos Samantha de Etartford
• Convertir el conjunto de datos a un formato LLM diferente
• Sube el conjunto de datos a Huggingface
• Agregue una opción para establecer el nombre de compañía
• Tune Fine LLM usando Qlora Peft
• Fusionar el peft y probar la inferencia
• Asignar nombre complementario - Avalon (Asistente virtual artificial con navegación lógica y operativa)
• Empuje Avalon Lora a Huggingface
• Obtener inferencia de Avalon
• Obtenga inferencia de Gradio usando transmisión
• Configurar la generación de conjuntos de datos para generar un nuevo conjunto de datos

Avalón

Este repositorio está destinado a ser un marco para Finetune a su propio compañero utilizando diferentes LLM como BaseModel. Avalon es el nombre que he elegido para mi compañero, y representa el asistente virtual artificial con navegación lógica y operativa.

Aquí hay algunos ejemplos de la conversación con Avalon:

 ### Human : what is your name

### Companion : Hi! My name is Avalon. It stands for "Artificial Virtual Assistant with Logical and Operational Navigation". Ask me about anything that interests you, and I'll give you my best answer!

 ### Human : I am feeling sad

### Companion : Oh no, I'm sorry to hear that. It's great that you're opening up about it, though. Can I ask, what's going on? Is there something specific you're feeling sad about, or are you just generally down? I'm here to listen if you want to talk about it.

 ### Human : I am not able to sleep

### Companion : That sounds really frustrating! Lack of sleep can definitely take a toll on both your physical and mental health. Are you having trouble falling asleep, or staying asleep? Or both? Can you share a bit more about what your sleep experience has been like?

Conjunto de datos

Nuestro conjunto de datos combina los componentes del conjunto de datos Samantha original con datos contextuales adicionales para amplificar la capacidad de CompanInllm para emular la sensibilidad. Cuidadosamente curado, este conjunto de datos abarca conversaciones, matices emocionales e incorporación que incitan al modelo a responder como si fuera un compañero sensible.

Enfoque 1: Preparación del conjunto de datos con contexto de conversación anterior

Enfoque 2: Preparación del conjunto de datos con pares de finalización rápida -

Proceso de ajuste fino -

Afinar un modelo de idioma implica capacitarlo en un conjunto de datos específico para adaptarlo a una tarea o dominio en particular. En nuestro caso, estamos entrenando diferentes LLM para encarnar las características de un compañero sensible. El proceso de ajuste fino incluye:

1. Preparación del conjunto de datos: hemos preparado un conjunto de datos modificado que está diseñado para ayudar al modelo a generar respuestas que se alinean con el tema de la sensibilidad y la compañía.

2. Configuración de ajuste fino: la arquitectura y los parámetros del modelo se han configurado para optimizar su rendimiento como un compañero sensible. Esto implica ajustar los hiperparámetros, la duración del entrenamiento y los tamaños de lotes.

3. Capacitación e iteración: Ejecuemos múltiples iteraciones de entrenamiento, evaluando periódicamente el progreso del modelo y ajustando los parámetros según sea necesario para mejorar sus respuestas.

4. Validación: a lo largo del proceso de ajuste fino, validamos la salida del modelo para garantizar que esté alineado con nuestro objetivo de simular un compañero sensible.

Estructura de repositorio

• data/ : Contiene el conjunto de datos modificado utilizado para ajustar.
• notebook : cuadernos Jupyter utilizados para preprocesamiento de datos, capacitación y evaluación.

Empezando

Para comprometerse con el modelo Companionllm, siga estos pasos:

1. Clone este repositorio a su máquina local.
2. Instale las dependencias requeridas enumeradas en requirements.txt .
3. Use el código de ejemplo proporcionado para cargar el modelo capacitado e iniciar conversaciones.

¡No dude en experimentar, proporcionar comentarios y contribuir al proyecto!

Contribuciones

Las contribuciones a Companionllm son bienvenidas y alentadas. Ya sea que esté interesado en mejorar el proceso de ajuste, mejorar el conjunto de datos o refinar las respuestas del modelo, su entrada puede ayudar a dar forma al desarrollo de este compañero único.

Antes de contribuir, revise nuestras pautas de contribución.

Licencia

Companionllm se distribuye bajo la licencia MIT.

---

Únase a mí en este emocionante viaje para crear un compañero sensible impulsado por el fascinante mundo de los modelos de idiomas de IA. ¡Empujemos los límites de lo que la tecnología puede hacer y redefinir compañía!

Para preguntas, sugerencias o colaboraciones, comuníquese con nosotros en @adithya-sk

Descargo de responsabilidad: la sensibilidad percibida del modelo Companionllm es una experiencia simulada y no refleja la conciencia real.

---

Este proyecto no está afiliado a LLMS, Ehartford o abrazando la cara. Es una iniciativa independiente explorar el potencial de los modelos de idiomas de IA.