Beranda>Terkait pemrograman>Kode sumber lainnya
Unduh

Obrolan dengan PDF - Rag

▶ ️ BERMAIN

▶ ️ Pratinjau

Qchat.1.mp4

Artikel

  • Komunitas dev
  • Hashnode

? Logika

sumber

1. Dokumen konsumsi

  • Usah Pengguna : Pengguna mengunggah file PDF (atau file lainnya) ke S3/Cloudinary.
  • Konten Ekstrak : Konten PDF diekstraksi.
  • Pisahkan menjadi potongan : Konten yang diekstraksi dibagi menjadi potongan -potongan yang dapat dikelola.

2. Hasilkan embeddings

  • Hasilkan Embeddings : Setiap potongan diproses untuk menghasilkan embedding vektor menggunakan API embedding (misalnya, embeddings openai).
  • Embeddings : Ini adalah representasi numerik dari potongan -potongan, yang menangkap makna semantik.

3. Basis Pengetahuan

  • Store Embeddings : Embeddings dan Document Chunks disimpan dalam database (seperti PostgreSQL) yang bertindak sebagai basis pengetahuan.
  • Database Embedding : Alat seperti Pyevctor, Pinecone, FAISS, atau ChromadB dapat digunakan untuk menyimpan dan mengindeks embedding ini.

4. Pengambilan

  • Pertanyaan Pengguna : Seorang pengguna mengajukan pertanyaan.
  • Hasilkan embedding kueri : Pertanyaan itu dikonversi menjadi embedding vektor.
  • Pencarian Semantik : Menggunakan embedding pertanyaan, pencarian semantik dilakukan pada embeddings dokumen yang tersimpan.
  • Hasil peringkat : Hasil peringkat berdasarkan skor kesamaan (misalnya, kesamaan cosinus).

5. Konteks ke LLM (Model Bahasa Besar)

  • CTX : Hasil serupa atas-K digunakan untuk memberikan konteks kepada LLM (misalnya, GPT-4, Llama 2, Mistral 7B, ChatGPT).
  • Jawaban : LLM menggunakan konteks ini untuk menghasilkan dan mengembalikan jawaban yang relevan kepada pengguna.

? Cara menggunakan

  1. Masuk : Mulailah dengan masuk dari halaman arahan. Setelah masuk, Anda akan melihat tombol Let's Start . Klik tombol ini untuk memulai.

  2. Buat proyek : Setelah mengklik Let's Start , Anda dapat membuat proyek. Berikan judul, deskripsi, dan unggah file PDF. PDF akan diunggah ke ember cloud (seperti S3) dan disimpan di PostgreSQL.

  3. Pemrosesan PDF : Pada backend, file PDF diproses untuk menghasilkan embeddings vektor konten. Embeddings ini kemudian disimpan untuk digunakan di masa depan.

  4. Pemrosesan Asinkron : Seluruh pemrosesan ditangani secara tidak sinkron menggunakan BullMQ, memastikan bahwa itu efisien dan tidak memblokir operasi lain, memungkinkan Anda untuk melanjutkan tanpa menunggu antarmuka obrolan siap.

  5. Pemantauan Dasbor : Anda dapat melihat semua proyek Anda di dasbor frontend. Setiap proyek akan menampilkan status: 'membuat', 'gagal', atau 'dibuat'. Ini memungkinkan Anda untuk melacak kemajuan dan mengetahui kapan proyek Anda siap. Jika ada masalah, Anda akan dapat melihat status dan mengambil tindakan yang sesuai.

  6. Antarmuka obrolan : Setelah proyek siap, Anda dapat membukanya untuk mengakses antarmuka obrolan yang ramah pengguna. Di sini, Anda dapat mengajukan pertanyaan dan menerima jawaban yang relevan berdasarkan konten PDF Anda.

? Bagaimana menjalankan

Tanpa Docker

  1. Instal node.js dari unduhan node.js.
  2. Instal dependensi: 
     cd client
pnpm i

cd server
yarn
  3. Jalankan kode: 
     cd client
pnpm run dev

cd server
yarn start:dev

Dengan Docker

  1. Jalankan perintah berikut: 
    docker compose up

    Catatan: Kami menggunakan tindakan server dan server NestJS. Kadang -kadang, Docker mungkin melakukan kesalahan. Jika Anda menghadapi masalah, silakan angkat masalah.

? Pengaturan Lingkungan

⇉⟭ Server

  1. Buat file .env di direktori server ( server/.env ): 
     # Server port
PORT = 3333
DATABASE_URL = " postgresql://neondb_owner:********/neondb?sslmode=require "

# S3
AWS_ACCESS_KEY_ID = A********P**T********VN
AWS_SECRET_ACCESS_KEY = M********U9J********aYr4********Yostzb
AWS_S3_REGION = us-east-1
AWS_S3_BUCKET_NAME = ********

# Rate Limit
UPLOAD_RATE_TTL = 60
UPLOAD_RATE_LIMIT = 3

# Pinecone
PINECONE_API_KEY = e1******-56**-43**-8f**-f**7**3**2**

# OpenAI
OPENAI_API_KEY = sk-p******j-f******og******Nr0P******FJt******JiBl******EvExEK

# Clerk
CLERK_SECRET_KEY = sk_t******rL5******BkF******7******2hF******aL

# Redis
REDIS_HOST = " redis-*****tysub*****1-8*****.a.aivencloud.com "
REDIS_PORT = *****
REDIS_USERNAME = " ***** "
REDIS_PASSWORD = " AVNS_*****Mi*****S*****a "
  2. Siapkan layanan berikut:
    • Database_Url : Opsi yang didukung termasuk CokroachDB, Neon, Supabase, Tembo, Crunchy Bridge, atau EdgedB.
    • S3 :
      • Kredensial AWS: Kredensial Keamanan AWS
      • S3 Wilayah dan Bucket: Konsol S3
    • Pinecone : Kunci API Pinecone
    • Openai : Openai API
    • Panitera : Panitera
    • Redis : Aiven Redis

⇉⟭ Klien

  1. Buat file .env.local di direktori client ( client/.env.local ): 
     NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY = pk_test_******reWx******M******su******b3******uZG******A
CLERK_SECRET_KEY = sk_test_SI******B******Kw******Qgdx7V******9aL

NEXT_PUBLIC_CLERK_SIGN_IN_URL = /sign-in
NEXT_PUBLIC_CLERK_SIGN_UP_URL = /sign-up
NEXT_PUBLIC_CLERK_AFTER_SIGN_IN_URL = /
NEXT_PUBLIC_CLERK_AFTER_SIGN_UP_URL = /
NEXT_PUBLIC_CLERK_AFTER_SIGN_OUT_URL = /

# OpenAI
OPENAI_API_KEY = sk-p******j-f******og******Nr0P******FJt******JiBl******EvExEK
  2. Mengatur Panitera: Panitera

? Kerangka kerja

⇉⟭ Server

  • Nestjs (Express)
  • Rxjs
  • Prisma
  • Openai
  • Redis
  • Bullmq
  • PostgreSQL
  • Embeddings vektor
  • Pinecone
  • pgvektor
  • Buruh pelabuhan

⇉⟭ Klien

  • Next.js
  • Tailwindcss
  • Bereaksi kueri
  • Redux
  • Axios
  • Lucide bereaksi
  • Sonner
  • Shadcn ui

? Fitur

  1. Mengobrol
  2. Dasbor Pengguna
  3. Otentikasi
  4. Halaman arahan

? Catatan utama

  1. NestJS : NestJS menyediakan arsitektur MVC yang kuat dan skalabilitas yang sangat baik, menggabungkan fitur bawaan seperti injeksi ketergantungan dan struktur modular. Ini sangat ideal untuk aplikasi perusahaan tingkat produksi, mendukung layanan microser dan memastikan pemeliharaan, yang sering dimiliki oleh pengaturan node.js tradisional.

    NestJS secara optimal menggunakan Express (Node.js), mencapai kinerja dan skalabilitas yang tidak mudah dicapai dengan pengaturan konvensional.

  2. Semua API backend dilindungi oleh token sesi petugas Anda. Tanpa ini, akses backend dibatasi, pengujian postman yang rumit. Untuk menguji dengan tukang pos, untuk sementara menghapus atau mengomentari baris berikut di server/src/app.module.ts : 
    providers: [
  {
    provide : APP_GUARD ,
    useClass : ClerkAuthGuard ,
  }
]
  3. Semua pemrosesan terjadi dalam pekerja Bullmq, memastikan skalabilitas tinggi.
  4. Kami menggunakan Redis untuk caching data. Anda dapat menggunakannya secara lokal atau terhubung ke URL produksi.

? Catatan Pembantu

A. Gunakan perintah prisma: 

npx prisma studio
npx prisma migrate dev --name init

B. S3

  1. Bucket Buat
  • ACLS dinonaktifkan (disarankan)
  • Blokir semua akses publik (hapus centang)
  • Versi Bucket - Nonaktifkan
  • Kunci Objek - Nonaktifkan
  • Enkripsi default
    • Jenis Enkripsi-Enkripsi sisi server dengan Kunci Dikelola Amazon S3 (SSE-S3)
    • Kunci Bucket - Aktifkan
  1. Bucket -> Izin Bucket policy - Edit

Tempel ini tetapi pastikan - Edit Blok Akses Publik - Nonaktifkan

2.1 S3 Policy ( arn:aws:s3:::<bucket-name> ): 

{
  "Version" : " 2012-10-17 " ,
  "Statement" : [
    {
      "Sid" : " PublicReadGetObject " ,
      "Effect" : " Allow " ,
      "Principal" : " * " ,
      "Action" : " s3:GetObject " ,
      "Resource" : " arn:aws:s3:::<bucket-name>/* "
    }
  ]
}

2.2. Konfigurasi CORS:

Cross -Origin Resource Sharing (CORS) - Edit 

[
  {
    "AllowedHeaders" : [ " * " ],
    "AllowedMethods" : [ " PUT " , " POST " , " DELETE " , " GET " ],
    "AllowedOrigins" : [ " * " ],
    "ExposeHeaders" : []
  }
]
Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua