gpt4 pdf chatbot langchain

GPT-4 & LANGCHAIN ​​- Créez un chatbot Chatgpt pour vos fichiers PDF

Utilisez la nouvelle API GPT-4 pour créer un chatbot ChatGPT pour plusieurs grands fichiers PDF.

Tech Stack utilisé comprend Langchain, Pinecone, TypeScript, Openai et Next.js. Langchain est un cadre qui facilite la création d'applications et de chatbots AI / LLM évolutifs. PineCone est un VectorStore pour stocker des incorporations et votre PDF dans le texte pour récupérer plus tard des documents similaires.

Vidéo de tutoriel

Rejoignez la discorde si vous avez des questions

Le guide visuel de ce dépôt et de ce tutoriel se trouve dans le dossier visual guide .

Si vous rencontrez des erreurs, veuillez consulter la section de dépannage plus bas en baisse de cette page.

Prélude: Veuillez vous assurer que vous avez déjà téléchargé le nœud sur votre système et la version est 18 ou plus.

Développement

1. Cloner le repo ou télécharger le zip

 git clone [github https url]

2. Installer des packages

Exécutez d'abord npm install yarn -g pour installer du fil globalement (si vous ne l'avez pas déjà fait).

Puis courez:

 yarn install

Après l'installation, vous devriez maintenant voir un dossier node_modules .

3. Configurez votre fichier .env

• Copier .env.example dans .env Votre fichier .env devrait ressembler à ceci:

 OPENAI_API_KEY=

PINECONE_API_KEY=
PINECONE_ENVIRONMENT=

PINECONE_INDEX_NAME=

• Visitez Openai pour récupérer les clés API et insérer dans votre fichier .env .
• Visitez Pinecone pour créer et récupérer vos touches API, et récupérez également votre environnement et indexez le nom du tableau de bord.

4. Dans le dossier config , remplacez le PINECONE_NAME_SPACE par un namespace où vous souhaitez stocker vos intégres sur pinecone lorsque vous exécutez npm run ingest . Cet espace de noms sera plus tard utilisé pour les requêtes et la récupération.

5. Dans utils/makechain.ts la chaîne change le QA_PROMPT pour votre propre uscase. Changer modelName dans new OpenAI à gpt-4 , si vous avez accès à l'API gpt-4 . Veuillez vérifier en dehors de ce dépôt que vous avez accès à l'API gpt-4 , sinon la demande ne fonctionnera pas.

Convertissez vos fichiers PDF en intégres

Ce repo peut charger plusieurs fichiers PDF

1. Dans le dossier docs , ajoutez vos fichiers PDF ou vos dossiers contenant des fichiers PDF.

2. Exécutez le yarn run ingest pour «ingérer» et incorporez vos documents. Si vous rencontrez des erreurs, dépannez-vous ci-dessous.

3. Vérifiez le tableau de bord PineCone pour vérifier que votre espace de noms et les vecteurs ont été ajoutés.

Exécutez l'application

Une fois que vous avez vérifié que les incorporations et le contenu ont été ajoutés avec succès à votre pinone, vous pouvez exécuter l'application npm run dev pour lancer l'environnement de développement local, puis saisir une question dans l'interface de chat.

Dépannage

En général, gardez un œil dans la section issues et discussions de ce repo pour les solutions.

Erreurs générales

• Assurez-vous d'exécuter la dernière version de nœud. Exécutez node -v
• Essayez un autre PDF ou convertissez votre PDF en texte en premier. Il est possible que votre PDF soit corrompu, scanné ou nécessite que OCR se convertisse en texte.
• Console.log les variables env et assurez-vous qu'elles sont exposées.
• Assurez-vous que vous utilisez les mêmes versions de Langchain et Pinecone que ce dépôt.
• Vérifiez que vous avez créé un fichier .env qui contient vos clés API valides (et fonctionnaires), l'environnement et le nom d'index.
• Si vous modifiez modelName dans OpenAI , assurez-vous d'avoir accès à l'API pour le modèle approprié.
• Assurez-vous d'avoir suffisamment de crédits OpenAI et une carte valide sur votre compte Billings.
• Vérifiez que vous n'avez pas plusieurs clés OpenAPI dans votre environnement mondial. Si vous le faites, le fichier env local du projet sera écrasé par la variable env Systems.
• Essayez de coder dur vos clés API dans le process.env ENV Variables s'il y a encore des problèmes.

Erreurs de Pinone

• Assurez-vous que votre environment de tableau de bord PineCone et index correspondent à celui des fichiers pinecone.ts et .env .
• Vérifiez que vous avez réglé les dimensions vectorielles sur 1536 .
• Assurez-vous que votre espace de noms PineCone est en minuscules.
• Les index de PineCone des utilisateurs sur le plan de démarrage (gratuit) sont supprimés après 7 jours d'inactivité. Pour éviter cela, envoyez une demande d'API à Pinecone pour réinitialiser le comptoir avant 7 jours.
• Réessayez à partir de zéro avec un nouveau projet de pinone, index et repo cloné.

Crédit

Frontend de ce dépôt est inspiré par Langchain-chat-nextjs