gpt4 pdf chatbot langchain

GPT -4 & Langchain - สร้าง chatgpt chatbot สำหรับไฟล์ pdf ของคุณ

ใช้ GPT-4 API ใหม่เพื่อสร้าง chatgpt chatbot สำหรับไฟล์ PDF ขนาดใหญ่หลายไฟล์

Tech Stack ที่ใช้ ได้แก่ Langchain, Pinecone, TypeScript, Openai และ Next.js. Langchain เป็นเฟรมเวิร์กที่ทำให้แอพ AI/LLM ที่ปรับขนาดได้ง่ายขึ้นและ chatbots Pinecone เป็นเวกเตอร์สโตร์สำหรับการจัดเก็บ embeddings และ PDF ของคุณในข้อความเพื่อดึงเอกสารที่คล้ายกันในภายหลัง

วิดีโอการสอน

เข้าร่วม Discord หากคุณมีคำถาม

คู่มือภาพของ repo และการสอนนี้อยู่ในโฟลเดอร์ visual guide

หากคุณพบข้อผิดพลาดโปรดตรวจสอบส่วนการแก้ไขปัญหาเพิ่มเติมในหน้านี้

Prelude: โปรดตรวจสอบให้แน่ใจว่าคุณได้ดาวน์โหลดโหนดในระบบของคุณแล้วและเวอร์ชันคือ 18 หรือมากกว่า

การพัฒนา

1. โคลน repo หรือดาวน์โหลด zip

 git clone [github https url]

2. ติดตั้งแพ็คเกจ

วิ่งครั้งแรก npm install yarn -g เพื่อติดตั้งเส้นด้ายทั่วโลก (ถ้าคุณยังไม่ได้)

จากนั้นเรียกใช้:

 yarn install

หลังจากการติดตั้งตอนนี้คุณควรเห็นโฟลเดอร์ node_modules

3. ตั้งค่าไฟล์ .env ของคุณ

• คัดลอก .env.example ไปยัง .env ไฟล์ .env ของคุณควรมีลักษณะเช่นนี้:

 OPENAI_API_KEY=

PINECONE_API_KEY=
PINECONE_ENVIRONMENT=

PINECONE_INDEX_NAME=

• เยี่ยมชม OpenAI เพื่อดึงคีย์ API และแทรกลงในไฟล์. .env ของคุณ
• เยี่ยมชม Pinecone เพื่อสร้างและดึงคีย์ API ของคุณและดึงสภาพแวดล้อมและชื่อดัชนีของคุณจากแผงควบคุม

4. ในโฟลเดอร์ config ให้แทนที่ PINECONE_NAME_SPACE ด้วย namespace ที่คุณต้องการจัดเก็บ embeddings ของคุณบน pinecone เมื่อคุณเรียกใช้ npm run ingest เนมสเปซนี้จะถูกใช้ในภายหลังสำหรับการสืบค้นและการดึงข้อมูล

5. ใน utils/makechain.ts เชนเปลี่ยน QA_PROMPT สำหรับ usecase ของคุณเอง เปลี่ยน modelName ใน new OpenAI เป็น gpt-4 หากคุณสามารถเข้าถึง gpt-4 API โปรดตรวจสอบภายนอก repo นี้ว่าคุณสามารถเข้าถึง gpt-4 API มิฉะนั้นแอปพลิเคชันจะไม่ทำงาน

แปลงไฟล์ pdf ของคุณเป็น embeddings

repo นี้สามารถโหลดไฟล์ PDF หลายไฟล์

1. ภายในโฟลเดอร์ docs เพิ่มไฟล์หรือโฟลเดอร์ PDF ของคุณที่มีไฟล์ PDF

2. เรียกใช้ yarn run ingest ใน 'กลืนเข้าไป' และฝังเอกสารของคุณ หากคุณพบข้อผิดพลาดแก้ไขปัญหาด้านล่าง

3. ตรวจสอบแดชบอร์ด Pinecone เพื่อตรวจสอบเนมสเปซและเวกเตอร์ของคุณ

เรียกใช้แอพ

เมื่อคุณตรวจสอบว่าการฝังและเนื้อหาได้รับการเพิ่มลงใน pinecone ของคุณเรียบร้อยแล้วคุณสามารถเรียกใช้แอพ npm run dev เพื่อเปิดตัวสภาพแวดล้อมในท้องถิ่นแล้วพิมพ์คำถามในอินเทอร์เฟซแชท

การแก้ไขปัญหา

โดยทั่วไปจับตาดูส่วน issues และ discussions ของ repo นี้สำหรับการแก้ปัญหา

ข้อผิดพลาดทั่วไป

• ตรวจสอบให้แน่ใจว่าคุณใช้งานโหนดเวอร์ชันล่าสุด เรียกใช้ node -v
• ลองใช้ PDF อื่นหรือแปลง PDF ของคุณเป็นข้อความก่อน เป็นไปได้ว่า PDF ของคุณเสียหายสแกนหรือต้องการ OCR เพื่อแปลงเป็นข้อความ
• Console.log ตัวแปร env และตรวจสอบให้แน่ใจว่าได้รับการเปิดเผย
• ตรวจสอบให้แน่ใจว่าคุณใช้ Langchain และ Pinecone เวอร์ชันเดียวกันกับ repo นี้
• ตรวจสอบว่าคุณได้สร้างไฟล์ .env ที่มีคีย์ API (และทำงาน) ที่ถูกต้องของคุณ (และใช้งานได้)
• หากคุณเปลี่ยน modelName ใน OpenAI ตรวจสอบให้แน่ใจว่าคุณสามารถเข้าถึง API สำหรับรุ่นที่เหมาะสม
• ตรวจสอบให้แน่ใจว่าคุณมีเครดิต OpenAI เพียงพอและบัตรที่ถูกต้องในบัญชีการเรียกเก็บเงินของคุณ
• ตรวจสอบว่าคุณไม่มีปุ่ม OpenAPI หลายตัวในสภาพแวดล้อมทั่วโลกของคุณ ถ้าคุณทำไฟล์ env ท้องถิ่นจากโครงการจะถูกเขียนทับโดยตัวแปร Systems env
• ลองใช้รหัสอย่างหนักรหัส API ของคุณลงในตัวแปร process.env หากยังมีปัญหาอยู่

ข้อผิดพลาด Pinecone

• ตรวจสอบให้แน่ใจว่า environment Pinecone Dashboard และ index ตรงกับไฟล์ในไฟล์ pinecone.ts และ .env
• ตรวจสอบว่าคุณตั้งค่ามิติเวกเตอร์เป็น 1536
• ตรวจสอบให้แน่ใจว่าเนมสเปซ Pinecone ของคุณอยู่ในตัวพิมพ์เล็ก
• ดัชนี Pinecone ของผู้ใช้ในแผนเริ่มต้น (ฟรี) จะถูกลบหลังจากไม่มีการใช้งาน 7 วัน เพื่อป้องกันสิ่งนี้ให้ส่งคำขอ API ไปยัง Pinecone เพื่อรีเซ็ตตัวนับก่อน 7 วัน
• ลองใหม่จากศูนย์ด้วยโครงการ Pinecone ใหม่ดัชนีและ repo โคลน

เครดิต

ส่วนหน้าของ repo นี้ได้รับแรงบันดาลใจจาก langchain-chat-nextjs