gpt4 pdf chatbot langchain

GPT -4 y Langchain: cree un chatgpt chatbot para sus archivos pdf

Use la nueva API GPT-4 para crear un chatgpt chatbot para múltiples archivos PDF grandes.

Tech Stack utilizado incluye Langchain, Pinecone, TypeScript, OpenAI y Next.js. Langchain es un marco que facilita la creación de aplicaciones y chatbots de AI/LLM escalables. Pinecone es una tienda de vectores para almacenar incrustaciones y su PDF en texto para recuperar más tarde documentos similares.

Video tutorial

Únase a la discordia si tiene preguntas

La guía visual de este repositorio y tutorial se encuentra en la carpeta visual guide .

Si se encuentra con errores, revise la sección de solución de problemas más abajo en esta página.

Preludio: asegúrese de haber descargado ya nodo en su sistema y la versión es 18 o más.

Desarrollo

1. Clonar el repositorio o descargar el zip

 git clone [github https url]

2. Instalar paquetes

Primero ejecute npm install yarn -g para instalar hilo a nivel mundial (si aún no lo ha hecho).

Luego corre:

 yarn install

Después de la instalación, ahora debería ver una carpeta node_modules .

3. Configure su archivo .env

• Copiar .env.example en .env su archivo .env debe verse así:

 OPENAI_API_KEY=

PINECONE_API_KEY=
PINECONE_ENVIRONMENT=

PINECONE_INDEX_NAME=

• Visite OpenAI para recuperar las teclas API e inserte en su archivo .env .
• Visite Pinecone para crear y recuperar sus teclas API, y también recupere su entorno y nombre de índice del tablero.

4. En la carpeta config , reemplace el PINECONE_NAME_SPACE con un namespace donde desea almacenar sus incrustaciones en Pinecone cuando ejecute npm run ingest . Este espacio de nombres se utilizará más tarde para consultas y recuperación.

5. En utils/makechain.ts Cambia de cadena el QA_PROMPT para su propio USECase. Cambie modelName en new OpenAI a gpt-4 , si tiene acceso a la API gpt-4 . Verifique fuera de este repositorio que tenga acceso a la API gpt-4 , de lo contrario, la solicitud no funcionará.

Convierta sus archivos PDF en incrustaciones

Este repositorio puede cargar múltiples archivos PDF

1. Carpeta Inside docs , agregue sus archivos o carpetas PDF que contienen archivos PDF.

2. Ejecute el yarn run ingest para 'ingerir' e incrustar sus documentos. Si te encuentras con errores, la resolución de problemas a continuación.

3. Verifique el tablero de pinecone para verificar su espacio de nombres y se han agregado vectores.

Ejecutar la aplicación

Una vez que haya verificado que los incrustaciones y el contenido se hayan agregado correctamente a su Pinecone, puede ejecutar la aplicación npm run dev para iniciar el entorno de desarrollo local y luego escribir una pregunta en la interfaz de chat.

Solución de problemas

En general, esté atento en la sección issues y discussions de este repositorio para soluciones.

Errores generales

• Asegúrese de ejecutar la última versión de nodo. Ejecutar node -v
• Pruebe un PDF diferente o convierta su PDF en texto primero. Es posible que su PDF esté dañado, escaneado o requiere que OCR se convierta en texto.
• Console.log las variables env y asegúrese de que estén expuestas.
• Asegúrese de usar las mismas versiones de Langchain y Pinecone que este repositorio.
• Verifique que haya creado un archivo .env que contenga sus claves API válidas (y de trabajo), entorno y nombre de índice.
• Si cambia modelName en OpenAI , asegúrese de tener acceso a la API para el modelo apropiado.
• Asegúrese de tener suficientes créditos de OpenAI y una tarjeta válida en su cuenta de Billings.
• Verifique que no tenga múltiples claves OpenAPI en su entorno global. Si lo hace, el archivo env local del proyecto se sobrescribirá por Systems env Variable.
• Intente codificar sus claves API en el process.env .

Errores de piña

• Asegúrese de que su environment de panel de Pinecone y index coincidan con el de los archivos pinecone.ts y .env .
• Verifique que haya establecido las dimensiones vectoriales en 1536 .
• Asegúrese de que su espacio de nombres de Pinecone esté en minúsculas.
• Los índices de usuarios de Pinecone en el plan de arranque (gratuito) se eliminan después de 7 días de inactividad. Para evitar esto, envíe una solicitud de API a Pinecone para restablecer el contador antes de los 7 días.
• Vuelva a intentarlo con un nuevo proyecto de Pinecone, índice y repositorio clonado.

Crédito

Frontend of this Repo está inspirado en Langchain-chat-nextjs