gpt4 pdf chatbot langchain

GPT -4 & Langchain - Создайте чат -бот Chatgpt для ваших файлов PDF

Используйте новый API GPT-4, чтобы создать чат-бот ChatGPT для нескольких больших файлов PDF.

Используется технический стек включает в себя Langchain, Pinecone, TypeScript, OpenAI и Next.js. Langchain - это структура, которая облегчает создание масштабируемых приложений AI/LLM и чат -ботов. PineCone - это векторная магазина для хранения внедрения и вашего PDF в тексте, чтобы позже получить аналогичные документы.

Учебное видео

Присоединяйтесь к раздора, если у вас есть вопросы

Визуальное руководство этого репо и учебника находится в папке visual guide .

Если вы столкнетесь с ошибками, просмотрите раздел по устранению неполадок дальше вниз по этой странице.

Prelude: Пожалуйста, убедитесь, что вы уже загрузили узел в своей системе, а версия - 18 или более.

Разработка

1. Клонировать репо или скачать Zip

 git clone [github https url]

2. Установите пакеты

Сначала запустите npm install yarn -g для установки пряжи во всем мире (если вы еще этого не сделали).

Затем беги:

 yarn install

После установки вы должны увидеть папку node_modules .

3. Настройте свой файл .env

• Скопируйте .env.example в .env Ваш файл .env должен выглядеть так:

 OPENAI_API_KEY=

PINECONE_API_KEY=
PINECONE_ENVIRONMENT=

PINECONE_INDEX_NAME=

• Посетите OpenAI, чтобы получить ключи API и вставить в свой файл .env .
• Посетите PineCone, чтобы создать и получить ключи API, а также получить свою среду и имя индекса с приборной панели.

4. В папке config замените PINECONE_NAME_SPACE на namespace , где вы хотели бы сохранить свои вставки в Pinecone, когда вы запускаете npm run ingest . Это пространство имен позже будет использоваться для запросов и поиска.

5. В utils/makechain.ts цепочка измените QA_PROMPT для вашего собственного использования. Измените modelName в new OpenAI на gpt-4 , если у вас есть доступ к API gpt-4 . Пожалуйста, проверьте за пределами этого репо, что у вас есть доступ к API gpt-4 , в противном случае приложение не будет работать.

Преобразовать файлы PDF в Entgeddings

Этот репо может загрузить несколько файлов PDF

1. Внутри папки docs добавьте свои файлы PDF или папки, содержащие файлы PDF.

2. Запустите сценарий yarn run ingest чтобы «Ingest» и встройте ваши документы. Если вы столкнетесь с ошибками, не устраняйте ошибку ниже.

3. Проверьте приборную панель Pinecone, чтобы проверить ваше пространство имен и векторы.

Запустить приложение

После того, как вы подтвердили, что встроенные и контент были успешно добавлены в ваш Pinecone, вы можете запустить приложение npm run dev для запуска локальной среды Dev, а затем ввести вопрос в интерфейсе чата.

Поиск неисправностей

В целом, следите за разделом issues и discussions этого репо для решений».

Общие ошибки

• Убедитесь, что вы запускаете последнюю версию узла. Запустите node -v
• Попробуйте другой PDF или конвертируйте свой PDF в первую очередь. Вполне возможно, что ваш PDF развращен, отсканирован или требует OCR для конвертации в текст.
• Console.log переменные env и убедитесь, что они выставлены.
• Убедитесь, что вы используете те же версии Langchain и Pinecone, что и это репо.
• Убедитесь, что вы создали файл .env , который содержит ваши допустимые (и работающие) клавиши API, среду и имя индекса.
• Если вы измените modelName в OpenAI , убедитесь, что у вас есть доступ к API для соответствующей модели.
• Убедитесь, что у вас достаточно кредитов Openai и действительной карты на вашей учетной записи Billings.
• Убедитесь, что у вас нет нескольких ключей OpenAPI в вашей глобальной среде. Если вы это сделаете, локальный файл env из проекта будет перезаписан Variable Systems env .
• Старайтесь пристально кодировать свои ключи API в переменные process.env , если все еще есть проблемы.

Ошибки Pinecone

• Убедитесь, что ваша environment Pinecone Dashboard и index совпадает в файлах pinecone.ts и .env .
• Убедитесь, что вы установили векторные размеры на 1536 .
• Убедитесь, что ваше пространство имен Pinecone находится в строчной строке.
• Индексы Pinecone пользователей в плане стартера (бесплатный) удаляются после 7 дней бездействия. Чтобы предотвратить это, отправьте запрос API в Pinecone, чтобы сбросить счетчик до 7 дней.
• Повторите с нуля новым проектом Pinecone, Index и Clone Repo.

Кредит

Ледовый фронт этого репо вдохновлен Langchain-Chat-nextjs