chatgpt pgvector

تطبيق ChatGTP الخاص بالمجال

تعتبر ChatGPT رائعة بالنسبة إلى إجابات أسئلة غير رسمية للأغراض العامة ولكنها تقصر عند الحاجة إلى معرفة خاصة بالمجال. علاوة على ذلك ، فإنه يعوض إجابات لملء فجوات المعرفة ولا تستشهد بمصادرها أبدًا ، لذلك لا يمكن الوثوق بها حقًا. يستخدم تطبيق المبتدئين هذا التضمينات مقرونة بالبحث في المتجه لحل هذا ، أو بشكل أكثر تحديداً ، لإظهار كيف يمكن استخدام API من Openai للدردشة لإنشاء واجهات محادثة للمعرفة الخاصة بالمجال.

التضمينات ، كما تمثلها متجهات أرقام النقطة العائمة ، تقيس "علاقة" سلاسل النص. هذه مفيدة للغاية لتصنيف نتائج البحث ، والتجميع ، والتصنيف ، وما إلى ذلك. يتم قياس العلاقة من خلال تشابه جيب التمام. إذا كان تشابه جيب التمام بين متجهين يقترب من 1 ، فإن المتجهات متشابهة للغاية وتشير في نفس الاتجاه. في حالة تضمينات النص ، يشير تشابه جيب التمام العالي بين متجهات التضمين إلى أن سلاسل النص المقابلة مرتبطة ارتباطًا وثيقًا.

يستخدم تطبيق المبتدئين التضمينات لإنشاء تمثيل متجه لمستند ، ثم يستخدم البحث في المتجهات للعثور على المستندات الأكثر تشابهًا مع الاستعلام. ثم يتم استخدام نتائج البحث المتجه لإنشاء مطالبة. ثم يتم دفق الاستجابة إلى المستخدم. تحقق من منشورات مدونة Supabase على PGVector و Openai التضمين لمزيد من الخلفية.

التقنيات المستخدمة:

• NextJS (React Framework) + استضافة Vercel
• supabase (باستخدام تطبيق PGVector الخاص بهم كقاعدة بيانات المتجه)
• Openai API (لتوليد التضمينات وإكمال الدردشة)
• Tailwindcss (للتصميم)

نظرة عامة وظيفية

إنشاء وتخزين التضمينات:

• يتم كشط صفحات الويب وتجريدها إلى نص عادي وتقسيم إلى مستندات 1000 حرف
• يتم استخدام واجهة برمجة تطبيقات تضمين Openai لإنشاء تضمينات لكل وثيقة باستخدام نموذج "eMbedding -ADA-002"
• ثم يتم تخزين التضمينات في جدول postgres supabase باستخدام PGVector ؛ يحتوي الجدول على ثلاثة أعمدة: نص المستند وعنوان URL المصدر ومتجهات التضمين التي تم إرجاعها من API Openai.

الرد على الاستفسارات:

• يتم إنشاء تضمين واحد من موجه المستخدم
• يتم استخدام هذا التضمين لإجراء بحث تشابه ضد قاعدة بيانات المتجه
• يتم استخدام نتائج البحث عن التشابه لإنشاء موجه لـ GPT-3.5/GPT-4
• ثم يتم بث استجابة GPT إلى المستخدم.

ابدء

يفترض دليل الإعداد التالي على الأقل من الألفة الأساسية تطوير تطبيقات الويب مع React و NextJs. تجربة مع APIs Openai و Supabase مفيدة ولكن ليست مطلوبة للحصول على الأشياء تعمل.

إعداد supabase

• قم بإنشاء حساب supabase ومشروع على https://app.supabase.com/sign-in. ملاحظة: يعد دعم Supabase لـ PGVector جديدًا نسبيًا (02/2023) ، لذلك من المهم إنشاء مشروع جديد إذا تم إنشاء مشروعك قبل ذلك.
• أولاً سنمكّن تمديد المتجه. في supabase ، يمكن القيام بذلك من بوابة الويب من خلال Database → Extensions . يمكنك أيضًا القيام بذلك في SQL عن طريق التشغيل:

 create extension vector;

• بعد ذلك ، دعنا ننشئ جدولًا لتخزين مستنداتنا وتضميناتها. توجه إلى محرر SQL وقم بتشغيل الاستعلام التالي:

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• أخيرًا ، سنقوم بإنشاء وظيفة سيتم استخدامها لإجراء عمليات البحث عن التشابه. توجه إلى محرر SQL وقم بتشغيل الاستعلام التالي:

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

إعداد البيئة المحلية

• استنساخ الريبو: gh repo clone gannonh/chatgpt-pgvector
• افتح في المحرر المفضل لديك (ما يلي يفترض VS Code على جهاز Mac)

 cd chatgpt-pgvector
code .

• تثبيت التبعيات

npm install

• إنشاء ملف .env.local في دليل الجذر لتخزين متغيرات البيئة:

cp .env.local.example .env.local

• افتح ملف .env.local وأضف عنوان URL لمشروع Supabase ومفتاح API. يمكنك العثور على هذه في بوابة الويب Supabase ضمن Project → API . يجب تخزين مفتاح API في متغير SUPABASE_ANON_KEY وينبغي تخزين عنوان URL للمشروع بموجب NEXT_PUBLIC_SUPABASE_URL .
• أضف مفتاح API Openai إلى .env.local. يمكنك العثور على هذا في بوابة الويب Openai ضمن API Keys . يجب تخزين مفتاح API في متغير OPENAI_API_KEY .
• [اختياري] البيئة متغير OPEAI_PROXY يتم توفيره لتمكين الوكيل المخصص الخاص بك من Openai API. تركها "" لاستدعاء واجهة برمجة التطبيقات الرسمية مباشرة.
• [اختياري] البيئة متغير SPLASH_URL يتم توفيرها لتمكين Splash (Splash هي خدمة تقديم JavaScript. إنها متصفح ويب خفيف الوزن مع واجهة برمجة تطبيقات HTTP ، يتم تنفيذها في Python 3 باستخدام واجهة برمجة تطبيقات Twisted و QT5). تركها "" لجلب عنوان URL مباشرة.
• ابدأ التطبيق

npm run dev

• افتح http: // localhost: 3000 في متصفحك لعرض التطبيق.