chatgpt pgvector

特定域特異性chatgtp啟動器應用程序

Chatgpt非常適合休閒，通用的問題提問者，但是當需要特定於領域的知識時，Chatgpt不足。此外，它構成了填補知識空白的答案，並且從不引用其來源，因此無法真正被信任。該啟動器應用程序使用嵌入式和矢量搜索的嵌入式應用程序來解決此問題，或更具體地說，以說明如何使用OpenAI的聊天完成API來創建對話界面以特定於領域的知識。

以浮點數為代表的向量表示嵌入，測量文本字符串的“相關性”。這些對於對搜索結果，聚類，分類等進行排名非常有用。相關性是通過餘弦相似性來衡量的。如果兩個向量之間的餘弦相似性接近1，則向量高度相似，並指向相同的方向。在文本嵌入的情況下，兩個嵌入向量之間的高餘弦相似性表明相應的文本字符串高度相關。

該啟動器應用使用嵌入式來生成文檔的向量表示，然後使用向量搜索找到與查詢的最相似文檔。然後使用矢量搜索的結果來構建提示。然後將響應流向用戶。查看有關PGVECTOR和OpenAI嵌入的Supabase博客文章，以獲取更多背景。

使用的技術：

• NextJS（React框架） + VERCEL託管
• supabase（使用其PGVECTOR實現作為矢量數據庫）
• OpenAI API（用於生成嵌入和聊天完成）
• parwindcss（用於造型）

功能概述

創建和存儲嵌入：

• 網頁被刮擦，被剝離為純文本，然後分為1000個字符的文檔
• OpenAI的嵌入API用於使用“ Text-Embedding-ADA-002”模型為每個文檔生成嵌入式
• 然後，使用PGVECTOR將嵌入在Supabase Postgres表中存儲；該表有三列：文檔文本，源URL和從OpenAI API返回的嵌入向量。

回答查詢：

• 用戶提示符生成單個嵌入
• 該嵌入用於對向量數據庫執行相似性搜索
• 相似性搜索的結果用於構建GPT-3.5/GPT-4的提示
• 然後將GPT響應流向用戶。

入門

以下設置指南至少假定具有React和NextJS的Web應用程序的基本熟悉度。使用OpenAI API和Supabase的經驗很有幫助，但並不需要使事情正常工作。

設置supabase

• 在https://app.supabase.com/sign-in上創建一個supabase帳戶和項目。注意：Supabase對PGVECTOR的支持相對較新（02/2023），因此，如果在此之前創建您的項目，則創建一個新項目很重要。
• 首先，我們將啟用向量擴展。在Supabase中，可以通過Database → Extensions從Web門戶進行。您也可以通過運行：在SQL中執行此操作：

 create extension vector;

• 接下來，讓我們創建一個表來存儲我們的文檔及其嵌入。轉到SQL編輯器並運行以下查詢：

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• 最後，我們將創建一個函數，該函數將用於執行相似性搜索。轉到SQL編輯器並運行以下查詢：

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

設置本地環境

• 克隆倉庫： gh repo clone gannonh/chatgpt-pgvector
• 在您喜歡的編輯器中打開（以下是Mac上的VS代碼）

 cd chatgpt-pgvector
code .

• 安裝依賴項

npm install

• 在根目錄中創建一個.env.Local文件以存儲環境變量：

cp .env.local.example .env.local

• 打開.env.Local文件並添加您的Supabase Project URL和API密鑰。您可以在Project → API下的Supabase Web門戶中找到這些。 API密鑰應存儲在SUPABASE_ANON_KEY變量中，並且項目URL應存儲在NEXT_PUBLIC_SUPABASE_URL下。
• 將您的OpenAI API鍵添加到.env.local。您可以在API Keys下的OpenAI Web門戶網站中找到此問題。 API鍵應存儲在OPENAI_API_KEY變量中。
• [可選]環境變量OPEAI_PROXY可提供您的OpenAI API自定義代理。保留了""直接致電官方API。
• [可選]環境變量SPLASH_URL可以提供啟用飛濺（Splash是JavaScript渲染服務。它是一個帶有HTTP API的輕量級Web瀏覽器，使用twisted and qt5）在Python 3中實現了HTTP API。留下了""直接獲取URL。
• 啟動應用程序

npm run dev

• 打開http：// localhost：3000在您的瀏覽器中查看應用程序。