QChatAi

Converse com PDF - RAG

▶ ️ JOGAR

▶ ️ Visualização

QCHAT.1.MP4

Artigo

• Comunidade de desenvolvimento
• Hashnode

? Lógica

1. Ingestão de documentos

• Usuário Upload : os usuários enviam um arquivo PDF (ou qualquer outro arquivo) para S3/Cloudinary.
• Extrato de conteúdo : o conteúdo do PDF é extraído.
• Dividido em pedaços : o conteúdo extraído é dividido em pedaços gerenciáveis.

2. Gere incorporações

• Gere incorporação : Cada parte é processada para gerar incorporações vetoriais usando uma API de incorporação (por exemplo, incorporações de OpenAI).
• INCLIMAÇÕES : Essas são representações numéricas dos pedaços, que capturam o significado semântico.

3. Base de conhecimento

• Armazenamento de armazenamento : as incorporações e os pedaços de documentos são armazenados em um banco de dados (como o PostgreSQL) que atua como a base de conhecimento.
• Incorporando o banco de dados : ferramentas como Pyevctor, Pinecone, FAISS ou Chromadb podem ser usadas para armazenar e indexar essas incorporações.

4. Recuperação

• Pergunta do usuário : um usuário faz uma pergunta.
• Gere incorporação de consulta : a pergunta é convertida em uma incorporação de vetor.
• Pesquisa semântica : Usando a incorporação de perguntas, uma pesquisa semântica é realizada nos incorporados de documentos armazenados.
• Resultado classificado : os resultados são classificados com base em pontuações de similaridade (por exemplo, similaridade de cosseno).

5. Contexto para LLM (modelo de linguagem grande)

• CTX : Os principais resultados semelhantes são usados ​​para fornecer contexto ao LLM (por exemplo, GPT-4, LLAMA 2, MISTRAL 7B, CHATGPT).
• Resposta : O LLM usa esse contexto para gerar e retornar uma resposta relevante para o usuário.

? Como usar

1. Faça login : comece fazendo login na página de destino. Depois de fazer login, você verá um botão Let's Start . Clique neste botão para começar.

2. Crie um projeto : depois de clicar Let's Start , você pode criar um projeto. Forneça um título, descrição e faça o upload de um arquivo PDF. O PDF será carregado em um balde de nuvem (como S3) e armazenado no PostgreSQL.

3. Processamento em PDF : No back -end, o arquivo PDF é processado para gerar incorporações vetoriais do conteúdo. Essas incorporações são então armazenadas para uso futuro.

4. Processamento assíncrono : todo o processamento é tratado de maneira assíncrona, garantindo que seja eficiente e não bloqueie outras operações, permitindo que você prossiga sem esperar que a interface de bate -papo esteja pronta.

5. Monitoramento do painel : você pode visualizar todos os seus projetos no painel front -end. Cada projeto exibirá um status: 'Criando', 'falhou' ou 'criado'. Isso permite que você acompanhe o progresso e saiba quando seu projeto está pronto. Se ocorrer algum problema, você poderá ver o status e tomar as medidas apropriadas.

6. Interface de bate-papo : Depois que um projeto estiver pronto, você pode abri-lo para acessar uma interface de bate-papo fácil de usar. Aqui, você pode fazer perguntas e receber respostas relevantes com base no conteúdo do seu PDF.

? Como correr

Sem Docker

1. Instale o Node.js do Node.js Downloads.
2. Instale dependências:

    cd client
   pnpm i
   
   cd server
   yarn

3. Execute o código:

    cd client
   pnpm run dev
   
   cd server
   yarn start:dev

Com Docker

1. Execute o seguinte comando:

   docker compose up

   Nota: Usamos as ações do servidor e um servidor NestJS. Ocasionalmente, o Docker pode causar um erro. Se você encontrar um problema, por favor levante um problema.

? Configuração do ambiente

⇉⟭ Servidor

1. Crie um arquivo .env no diretório server ( server/.env ):

    # Server port
   PORT = 3333
   DATABASE_URL = " postgresql://neondb_owner:********/neondb?sslmode=require "
   
   # S3
   AWS_ACCESS_KEY_ID = A********P**T********VN
   AWS_SECRET_ACCESS_KEY = M********U9J********aYr4********Yostzb
   AWS_S3_REGION = us-east-1
   AWS_S3_BUCKET_NAME = ********
   
   # Rate Limit
   UPLOAD_RATE_TTL = 60
   UPLOAD_RATE_LIMIT = 3
   
   # Pinecone
   PINECONE_API_KEY = e1******-56**-43**-8f**-f**7**3**2**
   
   # OpenAI
   OPENAI_API_KEY = sk-p******j-f******og******Nr0P******FJt******JiBl******EvExEK
   
   # Clerk
   CLERK_SECRET_KEY = sk_t******rL5******BkF******7******2hF******aL
   
   # Redis
   REDIS_HOST = " redis-*****tysub*****1-8*****.a.aivencloud.com "
   REDIS_PORT = *****
   REDIS_USERNAME = " ***** "
   REDIS_PASSWORD = " AVNS_*****Mi*****S*****a "

2. Configure os seguintes serviços:
   • Database_url : as opções suportadas incluem barraca, neon, supabase, tembo, ponte crocante ou Edgedb.
   • S3 :
     • Credenciais da AWS: Credenciais de segurança da AWS
     • Região e balde S3: console S3
   • Pinecone : Pinecone API Keys
   • OpenAI : API Openai
   • Funcionário : Funcionário
   • Redis : Aiven Redis

⇉⟭ Cliente

1. Crie um arquivo .env.local no diretório client ( client/.env.local ):

    NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY = pk_test_******reWx******M******su******b3******uZG******A
   CLERK_SECRET_KEY = sk_test_SI******B******Kw******Qgdx7V******9aL
   
   NEXT_PUBLIC_CLERK_SIGN_IN_URL = /sign-in
   NEXT_PUBLIC_CLERK_SIGN_UP_URL = /sign-up
   NEXT_PUBLIC_CLERK_AFTER_SIGN_IN_URL = /
   NEXT_PUBLIC_CLERK_AFTER_SIGN_UP_URL = /
   NEXT_PUBLIC_CLERK_AFTER_SIGN_OUT_URL = /
   
   # OpenAI
   OPENAI_API_KEY = sk-p******j-f******og******Nr0P******FJt******JiBl******EvExEK

2. Set Up Clerk: Clerk

? Estruturas

⇉⟭ Servidor

• Nestjs (Express)
• Rxjs
• Prisma
• Openai
• Redis
• Bullmq
• PostGresql
• Incorporação de vetor
• Pinecone
• PGVECTOR
• Docker

⇉⟭ Cliente

• Next.js
• Tailwindcss
• Reação de consulta
• Redux
• Axios
• Lucide React
• Sonner
• Shadcn ui

? Características

1. Bater papo
2. Painel do usuário
3. Autenticação
4. Página de destino

? Notas -chave

1. Nestjs : O NestJS fornece uma arquitetura MVC robusta e excelente escalabilidade, incorporando recursos internos como injeção de dependência e uma estrutura modular. É ideal para aplicações corporativas de grau de produção, suportando microsserviços e garantia de manutenção, que muitas vezes não possuem configurações tradicionais de node.js.

   O NESTJS utiliza otimentalmente o Express (Node.js), alcançando desempenho e escalabilidade, não são facilmente atingidos com uma configuração convencional.

2. Todas as APIs de back -end são protegidas pelo seu Token de Sessão do Secretário. Sem isso, o acesso ao back -end é restrito, complicando os testes de pós -homem. Para testar com o Postman, remova temporariamente ou comente a linha a seguir em server/src/app.module.ts :

   providers: [
     {
       provide : APP_GUARD ,
       useClass : ClerkAuthGuard ,
     }
   ]

3. Todo o processamento ocorre dentro dos trabalhadores da BullMQ, garantindo alta escalabilidade.
4. Usamos o Redis para cache de dados. Você pode usá -lo localmente ou conectar -se ao URL de produção.

? Notas auxiliares

um. Use comandos prisma:

npx prisma studio
npx prisma migrate dev --name init

b. S3

1. Criar balde

• ACLS desativado (recomendado)
• Bloqueie todo o acesso público (desmarcar)
• Versão do balde - desativar
• Bloqueio de objeto - desativar
• Criptografia padrão
  • Tipo de criptografia-criptografia do lado do servidor com as chaves gerenciadas do Amazon S3 (SSE-S3)
  • Chave do balde - Ativar

2. Bucket -> Bucket policy - Edit

Cole isso, mas certifique -se de - editar o bloco de acesso público - desativar

2.1 Política S3 ( arn:aws:s3:::<bucket-name> ):

{
  "Version" : " 2012-10-17 " ,
  "Statement" : [
    {
      "Sid" : " PublicReadGetObject " ,
      "Effect" : " Allow " ,
      "Principal" : " * " ,
      "Action" : " s3:GetObject " ,
      "Resource" : " arn:aws:s3:::<bucket-name>/* "
    }
  ]
}

2.2. Configuração do CORS:

Compartilhamento de Recursos Cross -Origin (CORS) - Editar

[
  {
    "AllowedHeaders" : [ " * " ],
    "AllowedMethods" : [ " PUT " , " POST " , " DELETE " , " GET " ],
    "AllowedOrigins" : [ " * " ],
    "ExposeHeaders" : []
  }
]