chatgpt pgvector

ドメイン固有のchatgtpスターターアプリ

ChatGptは、カジュアルで汎用的な質問回答に最適ですが、ドメイン固有の知識が必要な場合は不足しています。さらに、それは知識のギャップを埋めるための答えを構成し、そのソースを引用することはないので、それは本当に信頼することはできません。このスターターアプリは、ベクトル検索と組み合わせた埋め込みを使用して、これを解決するために、またはより具体的には、Openaiのチャット完了APIを使用して、ドメイン固有の知識への会話型インターフェイスを作成する方法を示します。

埋め込みは、浮動小数点数のベクトルで表されるように、テキスト文字列の「関連性」を測定します。これらは、検索結果、クラスタリング、分類などのランキングに非常に役立ちます。関連性は、COSINEの類似性によって測定されます。 2つのベクトル間のコサインの類似性が1に近い場合、ベクトルは非常に類似しており、同じ方向に向かっています。テキストの埋め込みの場合、2つの埋め込みベクトル間の高いコサインの類似性は、対応するテキスト文字列が高度に関連していることを示しています。

このスターターアプリは、埋め込みを使用してドキュメントのベクトル表現を生成し、ベクトル検索を使用してクエリに最も類似したドキュメントを見つけます。次に、ベクトル検索の結果を使用してプロンプトを作成します。その後、応答はユーザーにストリーミングされます。より背景については、PGVectorとOpenai埋め込みに関するSupabaseブログの投稿をご覧ください。

使用されるテクノロジー：

• NextJS（React Framework） + Vercel Hosting
• Supabase（ベクターデータベースとしてPGVector実装を使用）
• Openai API（埋め込みとチャットの完了を生成するため）
• TailWindCSS（スタイリング用）

機能的な概要

埋め込みの作成と保存：

• Webページはスクレイプされ、単純なテキストに剥がされ、1000文字のドキュメントに分かれています
• OpenAIの埋め込みAPIは、「Text-embedding-ada-002」モデルを使用して各ドキュメントの埋め込みを生成するために使用されます
• 埋め込みは、PGVectorを使用してサパベースポストグレステーブルに保存されます。テーブルには、ドキュメントテキスト、ソースURL、および埋め込みベクトルの3つの列があります。

クエリへの応答：

• ユーザープロンプトから単一の埋め込みが生成されます
• その埋め込みは、ベクトルデータベースに対する類似性検索を実行するために使用されます
• 類似性検索の結果は、GPT-3.5/GPT-4のプロンプトを作成するために使用されます
• GPT応答はユーザーにストリーミングされます。

はじめる

次のセットアップガイドでは、少なくともReactとNextJSのWebアプリを開発する基本的な親しみやすさを想定しています。 Openai APIとSupabaseでの経験は役立ちますが、物事を機能させるために必要ではありません。

Supabaseのセットアップ

• https://app.supabase.com/sign-inでSupabaseアカウントとプロジェクトを作成します。注：PGVectorのSupabaseサポートは比較的新しい（02/2023）ため、それ以前にプロジェクトが作成された場合は、新しいプロジェクトを作成することが重要です。
• まず、ベクトル拡張を有効にします。 Supabaseでは、これはWebポータルからDatabase → Extensionsを介して実行できます。これを実行することでSQLでこれを行うこともできます。

 create extension vector;

• 次に、テーブルを作成して、ドキュメントとその埋め込みを保存しましょう。 SQLエディターにアクセスして、次のクエリを実行します。

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• 最後に、類似性検索を実行するために使用される関数を作成します。 SQLエディターにアクセスして、次のクエリを実行します。

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

ローカル環境のセットアップ

• レポをクローンします： gh repo clone gannonh/chatgpt-pgvector
• お気に入りの編集者で開いています（次のことは、Mac上のコードとコードを想定しています）

 cd chatgpt-pgvector
code .

• 依存関係をインストールします

npm install

• ルートディレクトリに.env.localファイルを作成して、環境変数を保存します。

cp .env.local.example .env.local

• .env.localファイルを開き、SupabaseプロジェクトURLとAPIキーを追加します。これらは、 Project → APIの下のSupabase Webポータルで見つけることができます。 APIキーはSUPABASE_ANON_KEY変数に保存され、プロジェクトURLはNEXT_PUBLIC_SUPABASE_URLに保存する必要があります。
• OpenAI APIキーを.env.localに追加します。これはAPI Keysの下のOpenai Webポータルで見つけることができます。 APIキーは、 OPENAI_API_KEY変数に保存する必要があります。
• [オプション]環境変数OPEAI_PROXY OpenAI APIのカスタムプロキシを有効にするために提供します。それを残した""公式APIを直接呼び出す。
• [オプション]環境変数SPLASH_URL 、Splashを有効にするために提供されます（SplashはJavaScriptレンダリングサービスです。これは、TwiThon 3にTwistedおよびQT5）APIを使用して実装されたHTTP APIを備えた軽量のWebブラウザーです。残った"" urlを直接取得する。
• アプリを開始します

npm run dev

• http：// localhost：ブラウザで3000を開き、アプリを表示します。