ScrapEmbeddingNextjsDoc

NextJS Doc Scraper

来自NextJS文档的废料数据：

这将与Playwright一起从NextJS Doc中删除数据。数据转换和清洁 +添加包装器，以使IA的数据使用Cheerio。最终将其保存在数据/NextJS文件夹中的单独文件中。

 npm run scrap

链接到剧作家

链接到NPM Cheerio

废料统计：

如果您想要取消数据的统计数据，则可以运行此命令

  npm run scrapstat

创建用于存储嵌入数据的数据库：

• 在neon.tech上创建一个数据库（霓虹灯是因为与向量数据兼容），并为存储数据创建集合。
• 在.env中的数据库_url中添加连接字符串。确保完成用户名并通过密码替换*******
• 使用database.sql中的命令SQL创建表

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

链接到霓虹灯

Openai键：

• 在.env中添加OpenAI键以使用API​​嵌入数据。

链接Openai

嵌入数据：

 npm run embedding

此命令将执行此操作：

• 用文本和文件名创建对象数组，然后将其保存到JSON文件（Texts.json）
• 将所有文本都带有tiktoken以了解令牌编号并将其保存到JSON文件（TextStokens.json）
• 将文本分配为Max 1500令牌。如果拆分，请根据字幕（TAG H2）拆分，然后将其保存到JSON文件（TextStokensSplited.json）
• 将所有拆分文本嵌入OpenAi的Text-Embedding-3-Small中，并将其保存到JSON文件（textStokensSplitedembedding.json）
• 将嵌入数据保存到数据库

Tiktoken库用于将文本转换为令牌。我们将使用它来计算我们需要将文本分开的代币数量，以便能够将其与OpenAI嵌入。

⏳链接到NPM Tiktoken /留置权vers le github de tiktoken

如果要在Savetodatabase之前检查令牌发送统计信息，则可以删除DisplayTokenLengthstats功能。在这种情况下，不要忘记发表Savetodatabase函数。