pdf bundle

Pacote em PDF

Este projeto para levar para casa foi projetado dentro de um prazo de menos de 72 horas, servindo como uma etapa no processo de contratação para uma função sênior do MLOPS.

O pacote PDF é uma ferramenta projetada para extrair texto de documentos PDF armazenados em um balde da AWS S3, dividir esses documentos em pedaços menores e gerar incorporações vetoriais usando o transformador de sentença. Essas incorporações são então armazenadas em um banco de dados vetorial Pinecone para armazenamento e recuperação eficientes.

O pacote PDF fornece uma interface amigável através do FASTAPI. O endpoint query_search facilita as pesquisas rápidas, permitindo que os usuários inseram consultas e recuperem rapidamente as incorporações de vetor mais semelhantes. Essa similaridade é determinada usando similaridade de cosseno, uma medida que captura a semelhança semântica entre os vetores. Ao simplificar a resposta para a usabilidade, o pacote PDF garante a transparência, enviando automaticamente respostas detalhadas ao balde S3. Com sua integração perfeita e funcionalidade robusta, o pacote de PDF descobre com eficiência as incorporações de vetor mais semelhantes.

Características

• Extraia o texto dos documentos em PDF armazenados no balde da AWS S3.
• Dividir documentos em peças menores para processamento eficiente.
• Utilize o transformador de sentença para gerar incorporações vetoriais para cada peça do documento.
• Use o FASTAPI para criar um terminal de API para consultar incorporações semelhantes com base em prompts definidos pelo usuário.
• Armazenar e consultar incorporações de vetor em um banco de dados de vetor de pinecone para facilitar o gerenciamento e a recuperação.
• Permita que os usuários encontrem os vetores K mais semelhantes, atribuindo um N_TOP inteiro.

Uso

1. Verifique se o servidor API do pacote PDF está em execução no seguinte servidor:

   O aplicativo é implantado e acessível em: Ferrovia.

   Aviso: atraso de spin-down de instância gratuito

   Observe que a instância gratuita fornecida pela renderização pode experimentar o spin-down devido à inatividade. Isso pode resultar em atrasos de 50 segundos ou mais ao processar solicitações. Seja paciente enquanto o navegador da web tentar carregar a página.

2. Envie uma solicitação de postagem para o endpoint da API /query_search com a seguinte carga útil JSON:

   {
       "prompt" : " your_user_defined_prompt " ,
       "n_top" : 5
   }

   Substitua "your_user_defined_prompt" pelo prompt que você deseja usar, "n_top" pelo número de incorporações semelhantes que deseja recuperar com base na simuilaridade do cosseno.

3. Receba uma resposta contendo as incorporações mais semelhantes ao prompt fornecido.

Contribuindo

As contribuições são bem -vindas! Sinta -se à vontade para enviar uma solicitação de tração ou abrir um problema se encontrar algum bug ou ter sugestões de melhorias.

Agradecimentos

• AWS SDK para Python (BOTO3)
• Transformadores de frases
• FASTAPI
• Pinecone

Contato

Para qualquer pergunta ou apoio, entre em contato com [email protected]