ScrapEmbeddingNextjsDoc

NextJs Doc Scraper

Data memo dari doc nextjs:

Ini akan membatalkan data dari Doc NextJs dengan penulis drama. Transformasi dan Pembersihan Data + Menambahkan Pembungkus untuk membuat data untuk IA dengan Cheerio. Akhirnya simpan di file terpisah di folder Data/NextJS.

 npm run scrap

Tautan ke Playwright

Tautan ke NPM Cheerio

Statistik bekas:

Jika Anda ingin statistik pada data scrapping Anda dapat menjalankan perintah ini

  npm run scrapstat

Buat database untuk data penyematan toko:

• Di neon.tech Buat database (neon karena kompatibel dengan data vektor) dan buat koleksi untuk menyimpan data.
• Tambahkan string koneksi di database_url di .env. Pastikan untuk menyelesaikan nama pengguna dan mengganti ******* dengan kata sandi
• Buat Tabel dengan Perintah SQL di database.sql

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

Tautan ke neon

Kunci Openai:

• Tambahkan tombol OpenAI di .Env untuk menggunakan API untuk menanamkan data.

Tautan OpenAI

Data yang menanamkan:

 npm run embedding

Perintah ini akan melakukan tindakan ini:

• Buat array objek dengan teks dan nama file dan simpan ke file json (texts.json)
• tokenize semua teks dengan Tiktoken untuk mengetahui nomor token dan menyimpannya ke file json (textstokens.json)
• Pisahkan teks dalam token maks 1500. Jika terpecah, pisahkan sesuai dengan subtitle (Tag H2) dan simpan ke file JSON (TextStokenssplited.json)
• Menyematkan semua teks terpisah dengan teks-embedding-3-small dari openai dan simpan ke file JSON (TextStokenssplitedEmbedding.json)
• Simpan data embedding ke database

Perpustakaan Tiktoken digunakan untuk mengubah teks menjadi token. Kami akan menggunakan ini untuk menghitung berapa banyak token yang kami butuhkan untuk membagi teks agar dapat menanamkannya dengan openai.

⏳ Tautan ke NPM Tiktoken / Lien vers le Github de Tiktoken

Anda dapat menghitung fungsi DisplayTokenLengthStats jika Anda ingin memeriksa statistik pengiriman token sebelum savetodatabase. Dalam hal ini, jangan lupa untuk mengomentari fungsi savetodatabase.