gpt4 pdf chatbot langchain

GPT -4 & Langchain - Crie um chatgpt chatbot para seus arquivos PDF

Use a nova API GPT-4 para criar um ChatGPT Chatbot para vários arquivos PDF grandes.

A pilha de tecnologia usada inclui Langchain, Pinecone, TypeScript, OpenAI e Next.JS. O Langchain é uma estrutura que facilita a criação de aplicativos e chatbots de AI/LLM escaláveis. O Pinecone é um VectorStore para armazenar incorporações e seu PDF no texto para recuperar documentos semelhantes posteriores.

Vídeo tutorial

Junte -se à discórdia se tiver dúvidas

O guia visual deste repositório e tutorial está na pasta visual guide .

Se você se deparar com erros, revise a seção Solução de problemas mais abaixo nesta página.

Prelúdio: verifique se você já baixou o nó no seu sistema e a versão é 18 ou mais.

Desenvolvimento

1. Clone o repositório ou faça o download do zip

 git clone [github https url]

2. Instale pacotes

Primeiro execute npm install yarn -g para instalar o YARN globalmente (se você ainda não o fez).

Em seguida, corra:

 yarn install

Após a instalação, agora você deve ver uma pasta node_modules .

3. Configure seu arquivo .env

• Copy .env.example em .env seu arquivo .env deve ser assim:

 OPENAI_API_KEY=

PINECONE_API_KEY=
PINECONE_ENVIRONMENT=

PINECONE_INDEX_NAME=

• Visite o OpenAI para recuperar as teclas da API e inserir seu arquivo .env .
• Visite Pinecone para criar e recuperar suas teclas de API e também recuperar seu ambiente e o nome de índice do painel.

4. Na pasta config , substitua o PINECONE_NAME_SPACE por um namespace em que você deseja armazenar suas incorporações no Pinecone quando executar npm run ingest . Este espaço para nome será posteriormente usado para consultas e recuperação.

5. Na cadeia utils/makechain.ts altere o QA_PROMPT para sua própria USECASE. Alterar modelName no new OpenAI para gpt-4 , se você tiver acesso à API gpt-4 . Verifique fora deste repositório se você tem acesso à API gpt-4 , caso contrário, o aplicativo não funcionará.

Converta seus arquivos PDF em incorporação

Este repo pode carregar vários arquivos PDF

1. Pasta docs Inside, adicione seus arquivos PDF ou pastas que contêm arquivos PDF.

2. Execute o yarn run ingest para 'ingerir' e incorpore seus documentos. Se você encontrar erros solucionar problemas abaixo.

3. Verifique o painel Pinecone para verificar seu espaço para nome e vetores foram adicionados.

Execute o aplicativo

Depois de verificar se as incorporações e o conteúdo foram adicionados com sucesso ao seu Pinecone, você pode executar o App npm run dev para iniciar o ambiente de desenvolvimento local e, em seguida, digitar uma pergunta na interface de bate -papo.

Solução de problemas

Em geral, fique de olho na seção de issues e discussions deste repositório para soluções.

Erros gerais

• Verifique se você está executando a versão mais recente do nó. Execute node -v
• Experimente um PDF diferente ou converta seu PDF para enviar o texto primeiro. É possível que seu PDF esteja corrompido, digitalizado ou exige que o OCR seja convertido em texto.
• Console.log as variáveis env e verifique se elas estão expostas.
• Verifique se você está usando as mesmas versões de Langchain e Pinecone que este repositório.
• Verifique se você criou um arquivo .env que contém suas teclas de API válidas (e funcionando), nome do ambiente e nome do índice.
• Se você alterar modelName no OpenAI , verifique se você tem acesso à API para o modelo apropriado.
• Certifique -se de ter créditos OpenAI suficientes e um cartão válido na sua conta Billings.
• Verifique se você não possui várias teclas OpenAPI em seu ambiente global. Se o fizer, o arquivo env local do projeto será substituído pela variável env Env.
• Tente codificar suas chaves da API no process.env .

Erros de pinecone

• Verifique se o environment do painel Pinecone e index corresponde ao dos arquivos pinecone.ts e .env .
• Verifique se você definiu as dimensões do vetor para 1536 .
• Verifique se o seu espaço para nome de pinecone está em minúsculas.
• Os índices Pinecone dos usuários no plano inicial (gratuito) são excluídos após 7 dias de inatividade. Para evitar isso, envie uma solicitação da API para reiniciar o balcão antes de 7 dias.
• Represente do zero com um novo projeto Pinecone, Índice e Repo clonado.

Crédito

Frontend deste repositório é inspirado em Langchain-Chat-Nextjs