الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

الدردشة مع PDF - خرقة

▶ يلعب

▶ معاينة

Qchat.1.mp4

شرط

  • مجتمع ديف
  • Hashnode

؟ منطق

مصدر

1. وثيقة الابتلاع

  • تحميل المستخدم : يقوم المستخدمون بتحميل ملف PDF (أو أي ملف آخر) إلى S3/Clourinary.
  • استخراج المحتوى : يتم استخراج محتوى PDF.
  • الانقسام إلى قطع : يتم تقسيم المحتوى المستخرج إلى قطع يمكن التحكم فيها.

2. توليد التضمينات

  • توليد التضمينات : تتم معالجة كل قطعة لإنشاء تضمينات متجه باستخدام واجهة برمجة تطبيقات التضمين (على سبيل المثال ، Openai Ambeddings).
  • التضمين : هذه تمثيلات رقمية للقطع ، التي تلتقط المعنى الدلالي.

3. قاعدة المعرفة

  • تضمينات المتجر : يتم تخزين التضمينات وقطع المستندات في قاعدة بيانات (مثل postgreSQL) التي تعمل كقاعدة المعرفة.
  • قاعدة بيانات التضمين : يمكن استخدام أدوات مثل pyevctor أو pinecone أو faiss أو chromadb لتخزين هذه التضمينات وفهرستها.

4. استرجاع

  • سؤال المستخدم : يسأل المستخدم سؤالاً.
  • توليد ضمن استعلام : يتم تحويل السؤال إلى تضمين متجه.
  • البحث الدلالي : باستخدام تسليم السؤال ، يتم إجراء بحث دلالي على ضمانات المستند المخزنة.
  • النتيجة المرتبة : يتم تصنيف النتائج بناءً على درجات التشابه (على سبيل المثال ، تشابه جيب التمام).

5. سياق LLM (نموذج لغة كبير)

  • CTX : يتم استخدام نتائج مماثلة من أفضل K لتوفير السياق لـ LLM (على سبيل المثال ، GPT-4 ، LLAMA 2 ، MISTRAL 7B ، ChatGPT).
  • الإجابة : يستخدم LLM هذا السياق لإنشاء إجابة ذات صلة للمستخدم وإرجاعها.

؟ كيفية استخدام

  1. تسجيل الدخول : ابدأ بالتوقيع من الصفحة المقصودة. بمجرد تسجيل الدخول ، سترى زر Let's Start . انقر على هذا الزر للبدء.

  2. قم بإنشاء مشروع : بعد النقر ، Let's Start ، يمكنك إنشاء مشروع. قدم عنوانًا ووصفًا وتحميل ملف PDF. سيتم تحميل ملف PDF على دلو سحابة (مثل S3) وتخزينه في postgresql.

  3. معالجة PDF : على الواجهة الخلفية ، تتم معالجة ملف PDF لإنشاء تضمينات متجه للمحتوى. ثم يتم تخزين هذه التضمينات للاستخدام في المستقبل.

  4. المعالجة غير المتزامنة : تتم معالجة المعالجة بأكملها بشكل غير متزامن باستخدام BullmQ ، مع التأكد من أنها فعالة ولا تمنع العمليات الأخرى ، مما يسمح لك بالمضي قدماً دون انتظار أن تكون واجهة الدردشة جاهزة.

  5. مراقبة لوحة القيادة : يمكنك عرض جميع مشاريعك على لوحة معلومات الواجهة الأمامية. سيعرض كل مشروع حالة: "إنشاء" أو "فشل" أو "تم إنشاؤه". يتيح لك ذلك تتبع التقدم ومعرفة متى يكون مشروعك جاهزًا. في حالة حدوث أي مشكلات ، ستتمكن من رؤية الحالة واتخاذ الإجراء المناسب.

  6. واجهة الدردشة : بمجرد أن يصبح المشروع جاهزًا ، يمكنك فتحه للوصول إلى واجهة دردشة سهلة الاستخدام. هنا ، يمكنك طرح الأسئلة وتلقي الإجابات ذات الصلة بناءً على محتوى PDF الخاص بك.

؟ كيفية الجري

بدون Docker

  1. تثبيت node.js من تنزيلات node.js.
  2. تثبيت التبعيات: 
     cd client
pnpm i

cd server
yarn
  3. قم بتشغيل الرمز: 
     cd client
pnpm run dev

cd server
yarn start:dev

مع Docker

  1. قم بتشغيل الأمر التالي: 
    docker compose up

    ملاحظة: نستخدم كل من إجراءات الخادم وخادم NESTJS. في بعض الأحيان ، قد يرمي Docker خطأ. إذا واجهت مشكلة ، فيرجى إثارة مشكلة.

؟ إعداد البيئة

⇉⟭ الخادم

  1. إنشاء ملف .env في دليل server ( server/.env ): 
     # Server port
PORT = 3333
DATABASE_URL = " postgresql://neondb_owner:********/neondb?sslmode=require "

# S3
AWS_ACCESS_KEY_ID = A********P**T********VN
AWS_SECRET_ACCESS_KEY = M********U9J********aYr4********Yostzb
AWS_S3_REGION = us-east-1
AWS_S3_BUCKET_NAME = ********

# Rate Limit
UPLOAD_RATE_TTL = 60
UPLOAD_RATE_LIMIT = 3

# Pinecone
PINECONE_API_KEY = e1******-56**-43**-8f**-f**7**3**2**

# OpenAI
OPENAI_API_KEY = sk-p******j-f******og******Nr0P******FJt******JiBl******EvExEK

# Clerk
CLERK_SECRET_KEY = sk_t******rL5******BkF******7******2hF******aL

# Redis
REDIS_HOST = " redis-*****tysub*****1-8*****.a.aivencloud.com "
REDIS_PORT = *****
REDIS_USERNAME = " ***** "
REDIS_PASSWORD = " AVNS_*****Mi*****S*****a "
  2. قم بإعداد الخدمات التالية:
    • Database_url : تشمل الخيارات المدعومة CockroachDB أو Neon و Supabase أو Tembo أو Crunchy Bridge أو EdgedB.
    • S3 :
      • بيانات اعتماد AWS: أوراق اعتماد أمان AWS
      • منطقة S3 و Bucket: S3 Console
    • Pinecone : مفاتيح Pinecone API
    • Openai : Openai API
    • كاتب : كاتب
    • redis : Aiven redis

⇉⟭ العميل

  1. إنشاء ملف .env.local في دليل client ( client/.env.local ): 
     NEXT_PUBLIC_CLERK_PUBLISHABLE_KEY = pk_test_******reWx******M******su******b3******uZG******A
CLERK_SECRET_KEY = sk_test_SI******B******Kw******Qgdx7V******9aL

NEXT_PUBLIC_CLERK_SIGN_IN_URL = /sign-in
NEXT_PUBLIC_CLERK_SIGN_UP_URL = /sign-up
NEXT_PUBLIC_CLERK_AFTER_SIGN_IN_URL = /
NEXT_PUBLIC_CLERK_AFTER_SIGN_UP_URL = /
NEXT_PUBLIC_CLERK_AFTER_SIGN_OUT_URL = /

# OpenAI
OPENAI_API_KEY = sk-p******j-f******og******Nr0P******FJt******JiBl******EvExEK
  2. إعداد كاتب: كاتب

؟ الأطر

⇉⟭ الخادم

  • Nestjs (Express)
  • RXJS
  • بريزما
  • Openai
  • redis
  • Bullmq
  • postgresql
  • التضمينات المتجهات
  • كوز الصنوبر
  • PGVector
  • عامل ميناء

⇉⟭ العميل

  • Next.js
  • Tailwindcss
  • رد فعل الاستعلام
  • Redux
  • البديهية
  • رد فعل sucide
  • سونر
  • Shadcn UI

؟ سمات

  1. محادثة
  2. لوحة معلومات المستخدم
  3. المصادقة
  4. الصفحة المقصودة

؟ ملاحظات رئيسية

  1. NESTJS : يوفر NESTJS بنية MVC قوية وقابلية التوسع ممتازة ، تتضمن ميزات مدمجة مثل حقن التبعية والبنية المعيارية. إنه مثالي لتطبيقات المؤسسات من فئة الإنتاج ، ودعم الخدمات الدقيقة وضمان القدرة على الصيانة ، والتي غالباً ما تفتقر إلى إعدادات Node.js التقليدية.

    تستخدم NESTJS على النحو الأمثل Express (Node.js) ، وتحقيق الأداء وقابلية التوسع التي لا يمكن تحقيقها بسهولة مع إعداد تقليدي.

  2. جميع واجهات برمجة التطبيقات الخلفية محمية من خلال رمز جلسة الكاتب الخاص بك. بدون هذا ، يتم تقييد الوصول إلى الخلفية ، مما يعقد اختبار ساعي البريد. للاختبار باستخدام Postman ، قم بإزالة السطر التالي أو التعليق مؤقتًا في server/src/app.module.ts : 
    providers: [
  {
    provide : APP_GUARD ,
    useClass : ClerkAuthGuard ,
  }
]
  3. تحدث جميع المعالجة داخل عمال BullmQ ، مما يضمن قابلية التوسع المرتفعة.
  4. نستخدم redis لتخزين البيانات. يمكنك استخدامه محليًا أو الاتصال بعنوان URL للإنتاج.

؟ ملاحظات المساعد

أ. استخدم أوامر Prisma: 

npx prisma studio
npx prisma migrate dev --name init

ب. S3

  1. دلو إنشاء
  • تعطيل ACLS (موصى به)
  • منع جميع وصول الجمهور (Uncheck)
  • نسخة دلو - تعطيل
  • قفل الكائن - تعطيل
  • التشفير الافتراضي
    • نوع التشفير-تشفير من جانب الخادم مع مفاتيح Amazon S3 المدارة (SSE-S3)
    • مفتاح دلو - تمكين
  1. دلو -> Bucket policy - Edit

الصق هذا ولكن تأكد - تحرير كتلة الوصول العام - تعطيل

2.1 سياسة S3 ( arn:aws:s3:::<bucket-name> ): 

{
  "Version" : " 2012-10-17 " ,
  "Statement" : [
    {
      "Sid" : " PublicReadGetObject " ,
      "Effect" : " Allow " ,
      "Principal" : " * " ,
      "Action" : " s3:GetObject " ,
      "Resource" : " arn:aws:s3:::<bucket-name>/* "
    }
  ]
}

2.2. تكوين CORS:

مشاركة الموارد عبر الأصل (CORS) - تحرير 

[
  {
    "AllowedHeaders" : [ " * " ],
    "AllowedMethods" : [ " PUT " , " POST " , " DELETE " , " GET " ],
    "AllowedOrigins" : [ " * " ],
    "ExposeHeaders" : []
  }
]
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل