chatgpt pgvector

Aplicativo inicial de chatgtp específico para domínio

O ChatGPT é ótimo para respostas de perguntas casuais e de uso geral, mas fica aquém quando o conhecimento específico do domínio é necessário. Além disso, compõe respostas para preencher suas lacunas de conhecimento e nunca cita suas fontes, por isso não é realmente confiável. Este aplicativo inicial usa incorporação, juntamente com a pesquisa de vetores para resolver isso, ou mais especificamente, para mostrar como a API de conclusão de bate-papo do OpenAI pode ser usada para criar interfaces de conversação para conhecimentos específicos de domínio.

Incorporação, representada por vetores de números de ponto flutuante, medem a "relação" das seqüências de texto. Estes são super úteis para classificar os resultados da pesquisa, agrupamento, classificação etc. A relação é medida pela similaridade de cosseno. Se a semelhança de cosseno entre dois vetores estiver próxima de 1, os vetores são altamente semelhantes e apontam na mesma direção. No caso de incorporações de texto, uma alta similaridade de cosseno entre dois vetores de incorporação indica que as seqüências de texto correspondentes estão altamente relacionadas.

Esse aplicativo inicial usa incorporação para gerar uma representação vetorial de um documento e, em seguida, usa a pesquisa vetorial para encontrar os documentos mais semelhantes à consulta. Os resultados da pesquisa vetorial são usados ​​para construir um prompt. A resposta é transmitida para o usuário. Confira as postagens do blog Supabase nas incorporações PGVector e OpenAI para obter mais antecedentes.

Tecnologias usadas:

• NextJS (React Framework) + Hosting de Vercel
• Supabase (usando sua implementação do PGVector como banco de dados vetorial)
• API OpenAI (para gerar incorporações e conclusões de bate -papo)
• Tailwindcss (para estilo)

Visão geral funcional

Criando e armazenando as incorporações:

• As páginas da web são raspadas, despojadas para texto simples e divididas em documentos de 1000 caracteres
• A API de incorporação do OpenAI é usada para gerar incorporações para cada documento usando o modelo "Text-Encedding-Ada-002"
• As incorporações são então armazenadas em uma tabela Supabase Postgres usando PGVector; A tabela possui três colunas: o texto do documento, o URL de origem e os vetores de incorporação retornados da API do OpenAI.

Respondendo às consultas:

• Uma única incorporação é gerada a partir do prompt do usuário
• Essa incorporação é usada para realizar uma pesquisa de similaridade no banco de dados vetorial
• Os resultados da pesquisa de similaridade são usados ​​para construir um prompt para GPT-3.5/GPT-4
• A resposta GPT é transmitida para o usuário.

Começando

O seguinte guia de configuração assume pelo menos familiaridade básica desenvolvendo aplicativos da Web com o React e NextJs. A experiência com as APIs OpenAI e Supabase é útil, mas não é necessária para fazer as coisas funcionarem.

Configurar supabase

• Crie uma conta e um projeto supabase em https://app.supabase.com/sign-in. NOTA: O suporte do supabase ao PGVector é relativamente novo (02/2023), por isso é importante criar um novo projeto se o seu projeto foi criado antes disso.
• Primeiro, habilitaremos a extensão vetorial. No Supabase, isso pode ser feito no Portal da Web através do Database → Extensions . Você também pode fazer isso no SQL executando:

 create extension vector;

• Em seguida, vamos criar uma tabela para armazenar nossos documentos e suas incorporações. Vá até o editor do SQL e execute a seguinte consulta:

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• Por fim, criaremos uma função que será usada para executar pesquisas de similaridade. Vá até o editor do SQL e execute a seguinte consulta:

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

Configurar o ambiente local

• Clone the repo: gh repo clone gannonh/chatgpt-pgvector
• Aberto em seu editor favorito (o seguinte assume o código vs em um Mac)

 cd chatgpt-pgvector
code .

• instalar dependências

npm install

• Crie um arquivo .env.local no diretório raiz para armazenar variáveis ​​de ambiente:

cp .env.local.example .env.local

• Abra o arquivo .env.local e adicione o URL do projeto Supabase e a chave da API. Você pode encontrá -los no portal da Web Supabase em Project → API . A chave da API deve ser armazenada na variável SUPABASE_ANON_KEY e o URL do projeto deve ser armazenado em NEXT_PUBLIC_SUPABASE_URL .
• Adicione sua chave da API OpenAI para .env.local. Você pode encontrar isso no portal da Web OpenAI nas API Keys . A tecla API deve ser armazenada na variável OPENAI_API_KEY .
• [Opcional] Variável de ambiente OPEAI_PROXY forneça para ativar sua proxy personalizada da API OpenAI. Deixou -o "" chamar a API oficial diretamente.
• [Opcional] Variável de ambiente SPLASH_URL é fornecido para ativar o seu Splash (Splash é um serviço de renderização de JavaScript. É um navegador leve com uma API HTTP, implementada no Python 3 usando a API Twisted e Qt5). Deixou -o "" buscar o URL direto.
• Inicie o aplicativo

npm run dev

• Abra http: // localhost: 3000 no seu navegador para visualizar o aplicativo.