ScrapEmbeddingNextjsDoc

NextJS Doc Scraper

بيانات الخردة من NextJS Doc:

سيؤدي ذلك إلى إلغاء البيانات من NextJS Doc مع الكاتب المسرحي. تحويل البيانات وتنظيفها + أغلفة إضافة لعمل البيانات الخاصة بـ IA مع Cheerio. أخيرًا ، احفظه في ملفات منفصلة في مجلد Data/NextJS.

 npm run scrap

رابط إلى الكاتب المسرحي

رابط إلى NPM Cheerio

إحصائيات الخردة:

إذا كنت تريد إحصائيات في إلغاء البيانات ، يمكنك تشغيل هذا الأمر

  npm run scrapstat

قم بإنشاء قاعدة بيانات لتخزين بيانات التضمين:

• على neon.tech ، قم بإنشاء قاعدة بيانات (نيون لأنها متوافقة مع بيانات المتجهات) وإنشاء مجموعة لتخزين البيانات.
• أضف سلسلة الاتصال في database_url في .env. تأكد من إكمال اسم المستخدم واستبدال ******* بكلمة المرور
• قم بإنشاء جداول مع الأمر SQL في database.sql

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

رابط إلى النيون

مفتاح Openai:

• إضافة مفتاح Openai في .env لاستخدام واجهة برمجة التطبيقات لتضمين البيانات.

Link Openai

تضمين البيانات:

 npm run embedding

هذا الأمر سيفعل هذا الإجراءات:

• قم بإنشاء مجموعة من الكائنات مع النصوص واسم الملف وحفظها في ملف JSON (SENSTS.JSON)
• تميز جميع النصوص مع Tiktoken لمعرفة رقم الرمز المميز وحفظه في ملف JSON (TextStokens.json)
• تقسيم النصوص في MAX 1500 الرموز. إذا انقسمت ، انقسم وفقًا للترجمات (علامة H2) وحفظها في ملف JSON (TextStokensSplited.json)
• تضمين جميع النصوص المقسمة مع embedding-3-small من Openai وحفظها إلى ملف JSON (TextStokensSplitedEmbedding.json)
• احفظ بيانات التضمين على قاعدة البيانات

يتم استخدام مكتبة Tiktoken لتحويل النص إلى رموز. سنستخدم هذا لحساب عدد الرموز التي نحتاجها لتقسيم النص حتى نتمكن من تضمينه باستخدام Openai.

⏳ رابط لـ NPM Tiktoken / Lien vers Le Github de Tiktoken

يمكنك عدم عرض وظيفة DisplayTokenLengthStats إذا كنت ترغب في التحقق من إحصائيات إرسال الرمز المميز قبل SavetOdatabase. في هذه الحالة ، لا تنس التعليق على وظيفة savetodatabase.