ScrapEmbeddingNextjsDoc

scraper doc nextjs

ข้อมูลที่สนใจจากเอกสาร NextJS:

สิ่งนี้จะทำให้ข้อมูลจากเอกสาร NextJS กับนักเขียนบทละคร การแปลงข้อมูลและการทำความสะอาด + การเพิ่ม wrappers เพื่อให้เข้าใจถึงข้อมูลสำหรับ IA ด้วย Cheerio ในที่สุดบันทึกไว้ในไฟล์แยกต่างหากในโฟลเดอร์ Data/NextJS

 npm run scrap

ลิงก์ไปยังนักเขียนบทละคร

เชื่อมโยงไปยัง NPM Cheerio

สถิติเศษซาก:

หากคุณต้องการสถิติในการทิ้งข้อมูลคุณสามารถเรียกใช้คำสั่งนี้ได้

  npm run scrapstat

สร้างฐานข้อมูลสำหรับการฝังข้อมูลการจัดเก็บข้อมูล:

• บน neon.tech สร้างฐานข้อมูล (นีออนเพราะเข้ากันได้กับข้อมูลเวกเตอร์) และสร้างคอลเลกชันสำหรับจัดเก็บข้อมูล
• เพิ่มสตริงการเชื่อมต่อใน database_url ใน. env อย่าลืมทำชื่อผู้ใช้ให้สมบูรณ์และแทนที่ ******* ด้วยรหัสผ่าน
• สร้างตารางด้วยคำสั่ง sql ใน database.sql

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

ลิงก์ไปยังนีออน

คีย์ openai:

• เพิ่มคีย์ OpenAI ใน. ENV สำหรับใช้ API เพื่อฝังข้อมูล

ลิงค์ openai

การฝังข้อมูล:

 npm run embedding

คำสั่งนี้จะดำเนินการนี้:

• สร้างอาร์เรย์ของวัตถุที่มีข้อความและชื่อไฟล์และบันทึกลงในไฟล์ JSON (texts.json)
• โทเค็นข้อความทั้งหมดด้วย tiktoken เพื่อทราบหมายเลขโทเค็นและบันทึกลงในไฟล์ JSON (textStokens.json)
• แยกข้อความเป็นโทเค็นสูงสุด 1500 หากแยกให้แยกตามคำบรรยาย (TAG H2) และบันทึกลงในไฟล์ JSON (textStokensSplited.json)
• การฝังข้อความที่แยกทั้งหมดด้วย embedding-3-small จาก openai และบันทึกลงในไฟล์ json (textstokensplitedembedding.json)
• บันทึกข้อมูลการฝังลงในฐานข้อมูล

Tiktoken Library ใช้เพื่อแปลงข้อความเป็นโทเค็น เราจะใช้สิ่งนี้เพื่อคำนวณจำนวนโทเค็นที่เราต้องแยกข้อความเพื่อให้สามารถฝังด้วย openai

⏳ลิงค์ไปยัง npm tiktoken / lien vers le github de tiktoken

คุณสามารถยกเลิกการแสดงผล DisplayTokenLengthStats ได้หากคุณต้องการตรวจสอบโทเค็นที่ส่งสถิติก่อน Savetodatabase ในกรณีนี้อย่าลืมแสดงความคิดเห็นฟังก์ชั่น savetodatabase