ScrapEmbeddingNextjsDoc

SIftJS Doc Scraper

Scrap Datas de NextJS Doc:

Cela supprimera les données de NextJS DOC avec le dramaturge. Transformation et nettoyage des données + Ajout d'emballages pour créer des sens des données pour IA avec Cheerio. Enfin, enregistrez-le dans des fichiers séparés dans le dossier Data / NextJS.

 npm run scrap

Lien vers le dramaturge

Lien vers NPM Cheerio

STATS STATS:

Si vous voulez des statistiques sur la mise en œuvre des données, vous pouvez exécuter cette commande

  npm run scrapstat

Créer une base de données pour les données d'intégration des magasins:

• Sur neon.tech, créez une base de données (Neon car est compatible avec les données vectorielles) et créez une collection pour stocker les données.
• Ajoutez la chaîne de connexion dans database_url dans .env. Assurez-vous de terminer le nom d'utilisateur et de remplacer ******* par mot de passe
• Créer des tables avec la commande sql dans database.sql

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

Lien vers le néon

Clé Openai:

• Ajoutez une touche ouverte dans .env pour utiliser l'API pour intégrer les données.

Lien openai

Datas d'intégration:

 npm run embedding

Cette commande fera ces actions:

• Créez un tableau d'objets avec des textes et du nom de fichier et enregistrez-le dans un fichier JSON (text.json)
• Tokenize tous les textes avec tiktoken pour connaître le numéro de jeton et l'enregistrer dans un fichier json (textstokens.json)
• Divisez les textes dans les jetons max 1500. Si vous êtes séparé, divisez selon les sous-titres (Tag H2) et enregistrez-le dans un fichier JSON (TextStokensSplited.json)
• Incorporer tous les textes divisés avec le texte-incliné-3-Small d'Openai et l'enregistrer dans un fichier JSON (TextStokensSplitedEmbedding.json)
• Enregistrez les données d'intégration dans la base de données

La bibliothèque Tiktoken est utilisée pour transformer le texte en jetons. Nous l'utiliserons pour calculer le nombre de jetons dont nous avons besoin pour diviser le texte afin de pouvoir l'intégrer avec OpenAI.

⏳ Lien vers NPM Tiktoken / Lien vers Le Github de Tiktoken

Vous pouvez décommenter la fonction DisplayTokenLengthStats si vous souhaitez vérifier les statistiques d'envoi de jeton avant SaveTodatabase. Dans ce cas, n'oubliez pas de commenter la fonction SaveTodatabase.