ScrapEmbeddingNextjsDoc

Raspador do próximojs Doc

Dados de sucata do NextJS Doc:

Isso descartará os dados do NextJS Doc com dramaturgo. Transformação e limpeza de dados + Adicionando invólucros para criar os dados do IA com Cheerio. Finalmente, salve -o em arquivos separados na pasta Data/NextJS.

 npm run scrap

Link para dramaturgo

Link para o npm Cheerio

Estatísticas de sucata:

Se você deseja estatísticas sobre dados de dados, você pode executar este comando

  npm run scrapstat

Crie banco de dados para armazenar dados de incorporação:

• No Neon.tech, crie um banco de dados (neon porque é compatível com dados vetoriais) e crie uma coleção para armazenar os dados.
• Adicione a string de conexão no banco de dados_url em .env. Certifique -se de concluir o nome de usuário e substituir ******* por senha
• Crie tabelas com o comando sql no database.sql

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

Link para neon

Chave OpenAI:

• Adicione a chave OpenAI no .ENV para usar a API para incorporar os dados.

Link OpenAi

Incorporar dados:

 npm run embedding

Este comando fará as seguintes ações:

• Crie uma variedade de objetos com textos e nome do arquivo e salve -o em um arquivo json (texts.json)
• Tokenize todos os textos com o TikToken em conhecer o número de token e salvá -lo em um arquivo json (textstokens.json)
• Divida os textos nos tokens máximos de 1500. Se dividido, dividido de acordo com as legendas (tag h2) e salve -as em um arquivo json (textstokenssplited.json)
• Incorporar todos os textos divididos com o texto-3-Small do Openai e salvá-lo em um arquivo json (textstokenssplitedembedding.json)
• Salve os dados de incorporação no banco de dados

A Biblioteca Tiktoken é usada para transformar o texto em tokens. Usaremos isso para calcular quantos tokens precisamos dividir o texto para poder incorporá -lo ao OpenAI.

⏳ Link para NPM Tiktoken / Lien Vers Le Github de Tiktoken

Você pode não declarar a função DisplayTokenLengthStats se desejar verificar as estatísticas de envio do token antes do SaveTodatabase. Nesse caso, não se esqueça de comentar a função SaveTodatabase.