หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การค้นหาความหมายของมนุษย์

การแสวงหาความหมายของชีวิตเป็นหนึ่งในการเดินเล่นพื้นฐานของการดำรงอยู่ของมนุษย์ เป็นหัวข้อที่ซับซ้อนที่ไม่สามารถแก้ไขได้อย่างง่ายดายผ่านโครงการข้อมูลเดียว อย่างไรก็ตามการเปิดเผยข้อมูลเชิงลึกที่มีความหมายยังคงเป็นข้อมูลแม้ว่าจะไม่ได้ให้คำตอบที่ชัดเจนสำหรับปริศนาปรัชญาที่ลึกซึ้ง

โครงการมุ่งเน้นไปที่หนังสือ "Man's Search for ความหมาย" โดย Viktor Frankl

ปัญหา

LLM ทั้งหมดแม้จะมีชื่อเสียงในการเก็บรักษาข้อมูลของพวกเขา (มาจากลักษณะการสนทนาของพวกเขา) มีขีด จำกัด โทเค็นเฉพาะ เมื่อถึงขีด จำกัด นี้บริบทของข้อมูลที่ได้รับก่อนหน้านี้จะหายไป สิ่งนี้จะช่วยป้องกันรูปแบบภาษาขนาดใหญ่จากการทำความเข้าใจหนังสือทั้งเล่มพร้อมกันและติดตามข้อมูลในส่วนใหญ่ของข้อความ

โครงร่างโครงการ

เพื่อผ่านปัญหาของข้อ จำกัด โทเค็น:

  1. หนังสือ 224 หน้าถูกแบ่งออกเป็น 391 ส่วน (โดยใช้ Langchain)
  2. แต่ละส่วน (แต่ละข้อความ) ถูกแปลงเป็น OpenAI Vector Embeddings และเก็บไว้ในฐานข้อมูล Pinecone
  3. ผู้ใช้มีคำถาม (แบบสอบถาม)
  4. แบบสอบถามถูกเปลี่ยนเป็น Openai Embeddings
  5. Pinecone คำนวณคะแนนความคล้ายคลึงกันระหว่างการสืบค้นและชิ้นส่วนหนังสือแต่ละชิ้น
  6. เฉพาะชิ้นส่วนหนังสือที่เกี่ยวข้อง (คล้ายกันมากที่สุด) เท่านั้นที่ถูกส่งกลับเป็นผลลัพธ์
  7. ผลลัพธ์นี้ถูกนำมาใช้ควบคู่ไปกับแบบสอบถามดั้งเดิมโดยโมเดล OpenAI GPT-3.5 เพื่อตอบคำถามที่ผู้ใช้ระบุ

สคีมาของโครงร่างถูกนำเสนอด้านล่างพร้อมกับข้อมูลฐานข้อมูลพื้นฐานบางอย่าง

สคีมาโครงการ

ข้อมูลฐานข้อมูล - สถาปัตยกรรม #1

ประเภท POD: P1 - Queries ที่เร็วขึ้น | chunk_size = 1000 | chunk_overlap = 0

ข้อมูลฐานข้อมูล - สถาปัตยกรรม #2

ประเภท POD: P2 - เวลาแฝงต่ำสุดและปริมาณงานสูงสุด | chunk_size = 1200 | chunk_overlap = 80

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด