Mans_Search_For_Meaning_LangChain

Pencarian Manusia

Pencarian makna hidup adalah salah satu perjuangan mendasar dari keberadaan manusia. Ini adalah topik kompleks yang tidak dapat dengan mudah diselesaikan melalui proyek data tunggal. Meskipun demikian, mengungkap wawasan yang bermakna masih bisa informatif, bahkan jika itu tidak menawarkan jawaban yang pasti untuk teka -teki filosofis yang mendalam.

Proyek ini berfokus pada buku "Pencarian Man For Meaning" oleh Viktor Frankl.

Masalahnya

Semua LLM meskipun terkenal karena retensi informasi mereka (berasal dari sifat percakapan mereka) memiliki batas token tertentu. Ketika batas ini tercapai konteks data yang diperoleh sebelumnya hilang. Ini mencegah model bahasa besar dari memahami seluruh buku sekaligus dan melacak informasi di sebagian besar teks.

Garis besar proyek

Untuk melewati masalah pembatasan token:

1. Buku 224 halaman dibagi menjadi 391 bagian (menggunakan Langchain).
2. Setiap bagian (setiap teks) diubah menjadi embeddings vektor openai dan disimpan dalam database Pinecone.
3. Sebuah pertanyaan (kueri) disediakan oleh pengguna.
4. Kueri diubah menjadi embeddings openai.
5. Pinecone menghitung skor kesamaan antara kueri dan masing -masing bagian buku.
6. Hanya bagian buku yang relevan (yang paling mirip) yang dikembalikan sebagai output.
7. Output ini kemudian digunakan bersama dengan kueri asli oleh model OpenAI GPT-3.5 untuk menjawab pertanyaan yang dinyatakan oleh pengguna.

Skema garis besar disajikan di bawah ini bersama dengan beberapa informasi database dasar.

Skema Proyek

Informasi Basis Data - Arsitektur #1

Jenis pod: P1 - kueri lebih cepat | chunk_size = 1000 | chunk_overlap = 0

Informasi Basis Data - Arsitektur #2

Jenis Pod: P2 - Latensi Terendah dan Throughput Tertinggi | chunk_size = 1200 | chunk_overlap = 80