Stanford_LLM_Tutor

Tutor de Stanford LLM | AI Bot

Descripción general del proyecto

Este repositorio contiene la implementación de un bot AI construido utilizando un modelo de transformador ( gpt2 ) de abrazar la cara. El chatbot aprovecha FAISS para el almacenamiento de la base de datos vectorial para hacer coincidir eficientemente las consultas de los usuarios con datos relevantes. Los datos utilizados para la generación de capacitación y respuesta se eliminaron del curso oficial de Stanford LLM.

Características

• Modelo de lenguaje : utiliza el modelo gpt2 de abrazar la cara.
• Base de datos vectorial : implementa FAISS para almacenar y recuperar las claves de manera eficiente.
• Fuentes de datos : raspadas de varias conferencias del curso de Stanford LLM.
• Tipos de contenido : maneja varios tipos de contenido, incluidos párrafos, tablas, ecuaciones, enlaces, listas ordenadas y listas desordenadas.
• COMPARACIÓN DE CONSULTA : coincide con las consultas de los usuarios con las 2 claves más cercanas con FAISS y construye un mensaje con los datos recuperados.

Cómo funciona

1. Raspado de datos : los datos se raspan de varias conferencias del curso de Stanford LLM. Las etiquetas h2 , h3 y <strong> sirven como claves, y el contenido correspondiente se clasifica en párrafos, tablas, enlaces, ecuaciones, listas ordenadas y listas desordenadas.

2. Base de datos vectorial (FAISS) : las claves se almacenan en una base de datos Vector FAISS utilizando una distancia L2 para una recuperación eficiente. Cuando se recibe una consulta de usuario, FAISS encuentra las 2 teclas de correspondencia más cercanas basadas en la similitud vectorial.

3. Generación de pedido : el chatbot construye un aviso estructurado utilizando los datos recuperados de FAISS. Este mensaje incluye párrafos, tablas, ecuaciones, enlaces, listas ordenadas y listas desordenadas como relevantes para las teclas coincidentes.

4. Generación de respuesta : el aviso construido se alimenta al modelo GPT-2 para generar una respuesta coherente y relevante a la consulta del usuario.

Esquema de datos

Los datos raspados de las conferencias del curso de Stanford LLM tienen el siguiente esquema:

 key1:{
  {
      'paragraphs': [],
      'tables': [],
      'links': [],
      'equations': [],
      'ordered_lists': [],
      'unordered_lists': []
  } }
key2:{
  {
      'paragraphs': [],
      'tables': [],
      'links': [],
      'equations': [],
      'ordered_lists': [],
      'unordered_lists': []
  } }

Cada clave corresponde a etiquetas h2 , h3 o <strong> de las páginas de conferencias. Los datos asociados con cada clave incluyen párrafos, tablas, enlaces, ecuaciones, listas ordenadas y listas desordenadas si existen.

Uso de ejemplo

1. Consulta de usuario : "¿Cuáles son los beneficios y los daños?"

2. Recuperación FAISS : la consulta se combina con las 2 claves más cercanas en la base de datos de vectores utilizando la distancia L2.

3. Construcción rápida :

    # Create a structured prompt
   prompt = f"**Question:** {query}nn"
   
   # Add top 2 matched sections
   prompt += f"**Sections:**n- {result_key1}n- {result_key2}nn"
   
   # Add content to the prompt
   for result_key, result_content in [(result_key1, result_content1), (result_key2, result_content2)]:
       if result_content.get('paragraphs'):
           prompt += "**Paragraphs:**n" + "n".join(result_content['paragraphs']) + "nn"
       if result_content.get('ordered_lists'):
           prompt += "**Ordered Lists:**n" + "n".join(["n".join(ol) for ol in result_content['ordered_lists']]) + "nn"
       if result_content.get('unordered_lists'):
           prompt += "**Unordered Lists:**n" + "n".join(["n".join(ul) for ul in result_content['unordered_lists']]) + "nn"
       if result_content.get('tables'):
           prompt += "**Tables:**n" + "n".join(["n".join(table) for table in result_content['tables']]) + "nn"
       if result_content.get('links'):
           prompt += "**Links:**n" + "n".join(result_content['links']) + "nn"
       if result_content.get('equations'):
           prompt += "**Equations:**n" + "n".join(result_content['equations']) + "nn"
   
   # Add a closing statement
   prompt += "Answer is :"
   
   # Define max_length
   max_length = min(len(prompt) + 100, 750)
   
   # Generate response
   response = generator(prompt[:750], max_length=max_length, num_return_sequences=1, truncation=True, pad_token_id=50256)
   

4. Respuesta generada : el modelo GPT-2 utiliza el indicador para generar una respuesta detallada.

Ejemplo de captura de pantalla

Esta captura de pantalla muestra una interacción de ejemplo en la que el chatbot responde a una consulta de usuario sobre los conceptos básicos de los LLM.

Detalles de capacitación

• Plataforma : Kaggle
• Hardware : CPU

El modelo fue entrenado en Kaggle utilizando recursos de CPU.

Que contribuye

¡Las contribuciones son bienvenidas! Abra un problema o envíe una solicitud de extracción para cualquier mejoras o nuevas funciones.

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Consulte el archivo de licencia para obtener más detalles.

Expresiones de gratitud

• Cara abrazada
• Faiss
• Curso de Stanford LLM