Mans_Search_For_Meaning_LangChain

La búsqueda del hombre de significado del hombre

La búsqueda del significado de la vida es una de las tierras fundamentales de la existencia humana. Es un tema complejo que no se puede resolver fácilmente a través de un solo proyecto de datos. No obstante, descubrir ideas significativas puede ser informativo, incluso si no ofrece una respuesta definitiva a un profundo enigma filosófico.

El proyecto se centra en un libro "La búsqueda de significado del hombre" de Viktor Frankl.

El problema

Todos los LLM a pesar de ser famosos por su retención de información (derivada de su naturaleza de conversación) tienen un límite de token específico. Cuando se alcanza este límite, se pierde el contexto de datos obtenidos previamente. Esto evita que los grandes modelos de lenguaje comprendan libros completos a la vez y realicen un seguimiento de la información en grandes partes de texto.

Esquema del proyecto

Para pasar el tema de la limitación del token:

1. Un libro de 224 páginas se dividió en 391 partes (usando Langchain).
2. Cada parte (cada texto) se transformó en incrustaciones de vector OpenAI y se almacenó en la base de datos de Pinecone.
3. El usuario proporcionó una pregunta (consulta).
4. La consulta se transformó en incrustaciones de Openai.
5. Pinecone calculó una puntuación de similitud entre la consulta y cada una de las partes del libro.
6. Solo las partes del libro relevantes (más similares) se devolvieron como salida.
7. Luego, esta salida se usó junto con la consulta original por el modelo Operai GPT-3.5 para responder la pregunta establecida por el usuario.

El esquema del esquema se presenta a continuación en el sitio con información básica de la base de datos.

Esquema de proyecto

Información de la base de datos - Arquitectura #1

Tipo de vaina: P1 - Consultas más rápidas | chunk_size = 1000 | chunk_overlap = 0

Información de la base de datos - Arquitectura #2

Tipo de vaina: P2 - Latencia más baja y mayor rendimiento | chunk_size = 1200 | chunk_overlap = 80