Mans_Search_For_Meaning_LangChain

Busca do homem por significado

A busca pelo significado da vida é um dos ataques fundamentais da existência humana. É um tópico complexo que não pode ser facilmente resolvido por meio de um único projeto de dados. No entanto, a descoberta de idéias significativas ainda pode ser informativa, mesmo que não ofereça uma resposta definitiva a um profundo enigma filosófico.

O projeto se concentra em um livro "Man's Search for Significado", de Viktor Frankl.

O problema

Todos os LLMs, apesar de serem famosos por sua retenção de informações (derivados de sua natureza conversacional), têm um limite específico de token. Quando esse limite é atingido, o contexto de dados obtidos anteriormente é perdido. Isso impede que os grandes modelos de linguagem compreendam livros inteiros ao mesmo tempo e acompanhem as informações em grandes partes do texto.

Esboço do projeto

Para passar a questão da questão da limitação do token:

1. Um livro de 224 páginas foi dividido em 391 partes (usando Langchain).
2. Cada parte (cada texto) foi transformada em incorporação de vetor OpenAI e armazenada no banco de dados Pinecone.
3. Uma pergunta (consulta) foi fornecida pelo usuário.
4. A consulta foi transformada em incorporações de Openai.
5. Pinecone calculou uma pontuação de similaridade entre a consulta e cada uma das partes do livro.
6. Somente as peças de livros relevantes (mais semelhantes) foram devolvidas como saída.
7. Essa saída foi usada ao lado da consulta original pelo modelo OpenAI GPT-3.5 para responder à pergunta declarada pelo usuário.

O esquema do esboço é apresentado abaixo, junto com algumas informações básicas do banco de dados.

Esquema do projeto

Informações do banco de dados - Arquitetura nº 1

Tipo de pod: P1 - Consultas mais rápidas | chunk_size = 1000 | chunk_overlap = 0

Informações do banco de dados - Arquitetura #2

Tipo de vagem: P2 - Latência mais baixa e taxa de transferência mais alta | chunk_size = 1200 | chunk_overlap = 80