chatgpt pgvector

แอพเริ่มต้นเฉพาะโดเมน CHATGTP

CHATGPT นั้นยอดเยี่ยมสำหรับคำตอบคำถามทั่วไปทั่วไป แต่สั้น ๆ เมื่อจำเป็นต้องมีความรู้เฉพาะโดเมน นอกจากนี้ยังทำคำตอบเพื่อเติมเต็มช่องว่างความรู้และไม่เคยอ้างถึงแหล่งข้อมูลดังนั้นจึงไม่น่าเชื่อถือได้ แอพเริ่มต้นนี้ใช้ Embeddings ควบคู่ไปกับการค้นหาเวกเตอร์เพื่อแก้ปัญหานี้หรือโดยเฉพาะอย่างยิ่งเพื่อแสดงให้เห็นว่าการแชทของ OpenAI สามารถใช้ API ได้อย่างไรในการสร้างอินเทอร์เฟซการสนทนาเพื่อความรู้เฉพาะโดเมน

EMBEDDINGS ซึ่งแสดงโดยเวกเตอร์ของหมายเลขจุดลอยตัววัด "ความเกี่ยวข้อง" ของสตริงข้อความ สิ่งเหล่านี้มีประโยชน์มากสำหรับการจัดอันดับผลการค้นหาการจัดกลุ่มการจัดหมวดหมู่ ฯลฯ ความเกี่ยวข้องนั้นวัดจากความคล้ายคลึงกันของโคไซน์ หากความคล้ายคลึงกันของโคไซน์ระหว่างเวกเตอร์สองตัวใกล้เคียงกับ 1 เวกเตอร์มีความคล้ายคลึงกันสูงและชี้ไปในทิศทางเดียวกัน ในกรณีของการฝังข้อความความคล้ายคลึงกันของโคไซน์สูงระหว่างเวกเตอร์การฝังสองตัวบ่งชี้ว่าสตริงข้อความที่เกี่ยวข้องมีความสัมพันธ์กันอย่างมาก

แอพเริ่มต้นนี้ใช้ Embeddings เพื่อสร้างการแสดงเวกเตอร์ของเอกสารแล้วใช้การค้นหาเวกเตอร์เพื่อค้นหาเอกสารที่คล้ายกันมากที่สุดในการสืบค้น ผลลัพธ์ของการค้นหาเวกเตอร์จะถูกใช้เพื่อสร้างพรอมต์ การตอบกลับจะถูกสตรีมไปยังผู้ใช้ ตรวจสอบโพสต์บล็อก supabase บน pgvector และ openai embeddings สำหรับพื้นหลังเพิ่มเติม

เทคโนโลยีที่ใช้:

• NextJS (React Framework) + Vercel Hosting
• Supabase (ใช้การใช้งาน PGVector เป็นฐานข้อมูลเวกเตอร์)
• OpenAI API (สำหรับการสร้าง EMBEDDINGS และ CHAT เสร็จสมบูรณ์)
• tailwindcss (สำหรับสไตล์)

ภาพรวมการทำงาน

การสร้างและจัดเก็บ embeddings:

• หน้าเว็บถูกคัดลอกมาเป็นข้อความธรรมดาและแบ่งออกเป็นเอกสาร 1,000 ตัวอักษร 1,000 ตัว
• API Embedding ของ OpenAI ใช้เพื่อสร้าง EMBEDDING สำหรับแต่ละเอกสารโดยใช้โมเดล "embedding-ADA-002"
• จากนั้น embeddings จะถูกเก็บไว้ในตาราง supabase postgres โดยใช้ pgVector; ตารางมีสามคอลัมน์: ข้อความเอกสาร, URL ต้นทางและเวกเตอร์ฝังที่ส่งคืนจาก OpenAI API

ตอบคำถาม:

• การฝังตัวเดียวถูกสร้างขึ้นจากพรอมต์ผู้ใช้
• การฝังนั้นใช้เพื่อทำการค้นหาความคล้ายคลึงกันกับฐานข้อมูลเวกเตอร์
• ผลลัพธ์ของการค้นหาความคล้ายคลึงกันใช้เพื่อสร้างพรอมต์สำหรับ GPT-3.5/GPT-4
• การตอบกลับ GPT จะถูกสตรีมไปยังผู้ใช้

เริ่มต้นใช้งาน

คู่มือการตั้งค่าต่อไปนี้ถือว่าอย่างน้อยที่สุดความคุ้นเคยขั้นพื้นฐานในการพัฒนาเว็บแอพด้วย React และ NextJS ประสบการณ์กับ OpenAI APIs และ Supabase มีประโยชน์ แต่ไม่จำเป็นต้องทำงาน

ตั้งค่า supabase

• สร้างบัญชี supabase และโครงการที่ https://app.supabase.com/sign-in หมายเหตุ: การสนับสนุน Supabase สำหรับ PGVector นั้นค่อนข้างใหม่ (02/2023) ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องสร้างโครงการใหม่หากโครงการของคุณถูกสร้างขึ้นมาก่อน
• ก่อนอื่นเราจะเปิดใช้งานส่วนขยายเวกเตอร์ ใน supabase สิ่งนี้สามารถทำได้จากเว็บพอร์ทัลผ่าน Database → Extensions นอกจากนี้คุณยังสามารถทำได้ใน SQL โดยใช้:

 create extension vector;

• ต่อไปเรามาสร้างตารางเพื่อจัดเก็บเอกสารและการฝังตัวของเรา ตรงไปที่ SQL Editor และเรียกใช้แบบสอบถามต่อไปนี้:

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• ในที่สุดเราจะสร้างฟังก์ชั่นที่จะใช้เพื่อทำการค้นหาที่คล้ายคลึงกัน ตรงไปที่ SQL Editor และเรียกใช้แบบสอบถามต่อไปนี้:

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

ตั้งค่าสภาพแวดล้อมในท้องถิ่น

• โคลน repo: gh repo clone gannonh/chatgpt-pgvector
• เปิดในตัวแก้ไขที่คุณชื่นชอบ (ต่อไปนี้จะใช้รหัสกับรหัสบน Mac)

 cd chatgpt-pgvector
code .

• ติดตั้งการพึ่งพา

npm install

• สร้างไฟล์. env.local ในไดเรกทอรีรูทเพื่อจัดเก็บตัวแปรสภาพแวดล้อม:

cp .env.local.example .env.local

• เปิดไฟล์. env.local และเพิ่ม URL Project Supabase และ API ของคุณ คุณสามารถค้นหาสิ่งเหล่านี้ได้ในเว็บพอร์ทัล Supabase ภายใต้ Project → API คีย์ API ควรเก็บไว้ในตัวแปร SUPABASE_ANON_KEY และ URL โครงการควรเก็บไว้ภายใต้ NEXT_PUBLIC_SUPABASE_URL
• เพิ่มคีย์ OpenAI API ของคุณลงใน. env.local คุณสามารถค้นหาสิ่งนี้ได้ใน Web Portal OpenAI ภายใต้ API Keys คีย์ API ควรเก็บไว้ในตัวแปร OPENAI_API_KEY
• [ไม่บังคับ] ตัวแปรสภาพแวดล้อม OPEAI_PROXY จะให้บริการเพื่อเปิดใช้งานพร็อกซีที่กำหนดเองของ Openai API ทิ้งไว้ "" เพื่อโทรหา API อย่างเป็นทางการโดยตรง
• [ไม่บังคับ] สภาพแวดล้อมตัวแปร SPLASH_URL ให้บริการเพื่อเปิดใช้งาน Splash ของคุณ (Splash เป็นบริการการเรนเดอร์ JavaScript มันเป็นเว็บเบราว์เซอร์ที่มีน้ำหนักเบาพร้อม HTTP API ซึ่งใช้ใน Python 3 โดยใช้ Twisted และ QT5) API ทิ้งไว้ "" เพื่อดึง URL โดยตรง
• เริ่มแอป

npm run dev

• เปิด http: // localhost: 3000 ในเบราว์เซอร์ของคุณเพื่อดูแอพ