ScrapEmbeddingNextjsDoc

다음 JS Doc Scraper

Nextjs Doc의 스크랩 데이터 :

이것은 Playwright와 Nextjs Doc의 데이터를 폐기합니다. 데이터 변환 및 청소 + 랩퍼 추가하여 Cheerio와 함께 IA의 데이터를 감지합니다. 마지막으로 Data/Nextjs 폴더의 별도 파일로 저장하십시오.

 npm run scrap

극작가 링크

NPM Cheerio 링크

스크랩 통계 :

스크래핑 데이터에 통계를 원한다면이 명령을 실행할 수 있습니다.

  npm run scrapstat

매장 임베딩 데이터를위한 데이터베이스 작성 :

• neon.tech에서 데이터베이스를 생성하고 (벡터 데이터와 호환되기 때문에 네온) 데이터 저장을위한 컬렉션을 만듭니다.
• .env의 database_url에 연결 문자열을 추가하십시오. 사용자 이름을 작성하고 비밀번호로 *******를 바꾸십시오.
• Database.sql에서 명령 SQL로 테이블을 만듭니다

 DROP SCHEMA public CASCADE;

CREATE SCHEMA public ;

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE IF NOT EXISTS documents ( text text , n_tokens integer , file_path text , embeddings vector( 1536 ));

CREATE INDEX ON documents USING ivfflat (embeddings vector_cosine_ops);

CREATE TABLE IF NOT EXISTS openai_ft_data (
  id SERIAL PRIMARY KEY ,
  query TEXT NOT NULL ,
  answer TEXT NOT NULL ,
  suggested_answer TEXT ,
  user_feedback BOOLEAN
);

CREATE TABLE IF NOT EXISTS usage (
  id SERIAL PRIMARY KEY ,
  ip_address TEXT NOT NULL ,
  created_at TIMESTAMP NOT NULL DEFAULT NOW()
);

네온 링크

Openai 키 :

• 데이터를 포함시키기 위해 API를 사용하려면 .env에 OpenAi 키를 추가하십시오.

링크 OpenAi

데이터 임베딩 :

 npm run embedding

이 명령은이 작업을 수행합니다.

• 텍스트와 파일 이름으로 객체 배열을 만들고 JSON 파일 (texts.json)에 저장하십시오.
• Tiktoken을 사용하여 모든 텍스트를 토큰 번호를 알리고 JSON 파일에 저장하십시오 (TextStokens.json)
• Max 1500 토큰으로 텍스트를 분할하십시오. 분할 된 경우 자막에 따라 분할 (TAG H2)을 제비 한 후 JSON 파일 (TextStokensSplited.json)에 저장하십시오.
• OpenAi에서 텍스트-엠 베딩 -3 스몰을 사용하여 모든 분할 텍스트를 포함시키고 JSON 파일 (TextStokensSpleitedEmbedding.json)에 저장하십시오.
• 임베딩 데이터를 데이터베이스에 저장하십시오

Tiktoken 라이브러리는 텍스트를 토큰으로 변환하는 데 사용됩니다. OpenAI로 텍스트를 포함시키기 위해 텍스트를 분할 해야하는 토큰의 수를 계산하기 위해 이것을 사용합니다.

npm tiktoken / lien vers le github de tiktoken 링크

Savetodatabase 전에 토큰 전송 통계를 확인하려면 displayTokenLengthstats 기능을 수행 할 수 있습니다. 이 경우 Savetodatabase 기능을 주석하는 것을 잊지 마십시오.