ScrapEmbeddingNextjsDoc

nextjs docスクレーパー

NextJSドキュメントのスクラップデータ：

これにより、NextJS DocのデータがPlaywrightを使用します。データ変換とクリーニング +ラッパーを追加して、Cheerioを使用したIAのデータのセンスを作成します。最後に、データ/nextjsフォルダーの個別のファイルに保存します。

 npm run scrap

劇作家へのリンク

NPM Cheerioへのリンク

スクラップ統計：

スクラップデータの統計が必要な場合は、このコマンドを実行できます

  npm run scrapstat

埋め込みデータのデータベースを作成します。

• Neon.techで、データベース（Neon（NeonはVectorデータと互換性があるため）を作成し、データを保存するためのコレクションを作成します。
• database_url in .envに接続文字列を追加します。必ずユーザー名を完成させて、パスワードで*******を置き換えてください
• Database.sqlにコマンドSQLを使用してテーブルを作成します

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

ネオンへのリンク

Openaiキー：

• データを埋め込むためにAPIを使用するために.ENVにOpenAIキーを追加します。

Openaiをリンクします

埋め込みデータ：

 npm run embedding

このコマンドはこのアクションを実行します。

• テキストとファイル名でオブジェクトの配列を作成し、JSONファイル（texts.json）に保存します
• すべてのテキストをtiktokenでトークンしてトークン番号を知り、JSONファイル（textStokens.json）に保存します
• マックス1500トークンでテキストを分割します。分割する場合は、字幕（タグH2）に従って分割し、JSONファイル（textStokensSplited.json）に保存します。
• すべての分割テキストをOpenAIからテキスト埋め込み-3-SMALLで埋め込み、JSONファイルに保存します（TextStokenSsplitedEmbeding.json）
• 埋め込みデータをデータベースに保存します

Tiktokenライブラリは、テキストをトークンに変換するために使用されます。これを使用して、OpenAIに埋め込むためにテキストを分割する必要があるトークンの数を計算します。

npm tiktoken / lien Vers le github de tiktokenへのリンク

savetodatabaseの前にトークン送信統計を確認する場合は、displaytokenlengthstatsの機能を解除できます。この場合、savetodatabase関数をコメントすることを忘れないでください。