ScrapEmbeddingNextjsDoc

NextJS Doc Scraper

來自NextJS文檔的廢料數據：

這將與Playwright一起從NextJS Doc中刪除數據。數據轉換和清潔 +添加包裝器，以使IA的數據使用Cheerio。最終將其保存在數據/NextJS文件夾中的單獨文件中。

 npm run scrap

鏈接到劇作家

鏈接到NPM Cheerio

廢料統計：

如果您想要取消數據的統計數據，則可以運行此命令

  npm run scrapstat

創建用於存儲嵌入數據的數據庫：

• 在neon.tech上創建一個數據庫（霓虹燈是因為與向量數據兼容），並為存儲數據創建集合。
• 在.env中的數據庫_url中添加連接字符串。確保完成用戶名並通過密碼替換*******
• 使用database.sql中的命令SQL創建表

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

鏈接到霓虹燈

Openai鍵：

• 在.env中添加OpenAI鍵以使用API​​​​嵌入數據。

鏈接Openai

嵌入數據：

 npm run embedding

此命令將執行此操作：

• 用文本和文件名創建對像數組，然後將其保存到JSON文件（Texts.json）
• 將所有文本都帶有tiktoken以了解令牌編號並將其保存到JSON文件（TextStokens.json）
• 將文本分配為Max 1500令牌。如果拆分，請根據字幕（TAG H2）拆分，然後將其保存到JSON文件（TextStokensSplited.json）
• 將所有拆分文本嵌入OpenAi的Text-Embedding-3-Small中，並將其保存到JSON文件（textStokensSplitedembedding.json）
• 將嵌入數據保存到數據庫

Tiktoken庫用於將文本轉換為令牌。我們將使用它來計算我們需要將文本分開的代幣數量，以便能夠將其與OpenAI嵌入。

⏳鏈接到NPM Tiktoken /留置權vers le github de tiktoken

如果要在Savetodatabase之前檢查令牌發送統計信息，則可以刪除DisplayTokenLengthstats功能。在這種情況下，不要忘記發表Savetodatabase函數。