chatgpt pgvector

Aplicación de inicio de chatgtp específica de dominio

ChatGPT es excelente para las preguntas de preguntas de uso general casual, pero se queda corto cuando se necesita un conocimiento específico del dominio. Además, constituye respuestas para llenar sus vacíos de conocimiento y nunca cita sus fuentes, por lo que realmente no se puede confiar. Esta aplicación de inicio utiliza incrustaciones junto con la búsqueda vectorial para resolver esto, o más específicamente, para mostrar cómo la API de finalización de chat de OpenAI se puede usar para crear interfaces conversacionales para el conocimiento específico del dominio.

Los incrustaciones, representados por vectores de números de punto flotante, miden la "relación" de las cadenas de texto. Estos son súper útiles para clasificar los resultados de búsqueda, la agrupación, la clasificación, etc. La relación se mide por similitud de coseno. Si la similitud cosena entre dos vectores está cerca de 1, los vectores son muy similares y apuntan en la misma dirección. En el caso de los incrustaciones de texto, una alta similitud de coseno entre dos vectores de incrustación indica que las cadenas de texto correspondientes están altamente relacionadas.

Esta aplicación de inicio utiliza incrustaciones para generar una representación vectorial de un documento, y luego utiliza la búsqueda de vectores para encontrar los documentos más similares a la consulta. Los resultados de la búsqueda de vectores se utilizan para construir un aviso. La respuesta se transmite al usuario. Echa un vistazo a las publicaciones de blog de Supabase en PGVector y OpenAI Increddings para obtener más antecedentes.

Tecnologías utilizadas:

• NextJS (React Framework) + alojamiento de Vercel
• Supabase (utilizando su implementación de PGVector como la base de datos Vector)
• API de OpenAI (para generar integridades y finalizaciones de chat)
• Tailwindcss (para el estilo)

Descripción general funcional

Creación y almacenamiento de los incrustaciones:

• Las páginas web se raspan, se despojan al texto plano y se dividen en documentos de 1000 caracteres
• La API de incrustación de OpenAI se utiliza para generar incrustaciones para cada documento utilizando el modelo "Texto incrustado-ADA-002"
• Los incrustaciones se almacenan en una tabla de Postgres de Supabase usando PGVector; La tabla tiene tres columnas: el texto del documento, la URL de origen y los vectores de incrustación regresaron de la API de OpenAI.

Respondiendo a las consultas:

• Se genera una sola incrustación a partir del indicador del usuario
• Que la incrustación se utiliza para realizar una búsqueda de similitud contra la base de datos de vector
• Los resultados de la búsqueda de similitud se utilizan para construir un aviso para GPT-3.5/GPT-4
• La respuesta GPT se transmite al usuario.

Empezando

La siguiente guía de configuración asume al menos la familiaridad básica que desarrolla aplicaciones web con React y NextJS. La experiencia con API y Supabase de Operai es útil, pero no se requiere que las cosas funcionen.

Configuración de Supabase

• Cree una cuenta y proyecto de Supabase en https://app.supabase.com/sign-in. Nota: El soporte de Supabase para PGVector es relativamente nuevo (02/2023), por lo que es importante crear un nuevo proyecto si su proyecto se creó antes de entonces.
• Primero habilitaremos la extensión del vector. En Supabase, esto se puede hacer desde el portal web a través de Database → Extensions . También puede hacer esto en SQL ejecutando:

 create extension vector;

• Luego creemos una mesa para almacenar nuestros documentos y sus incrustaciones. Dirígete al editor SQL y ejecuta la siguiente consulta:

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• Finalmente, crearemos una función que se utilizará para realizar búsquedas de similitud. Dirígete al editor SQL y ejecuta la siguiente consulta:

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

Configurar entorno local

• Clon the Repo: gh repo clone gannonh/chatgpt-pgvector
• Abra en su editor favorito (lo siguiente asume vs código en una Mac)

 cd chatgpt-pgvector
code .

• Instalar dependencias

npm install

• Cree un archivo .env.local en el directorio raíz para almacenar variables de entorno:

cp .env.local.example .env.local

• Abra el archivo .env.local y agregue la URL y la tecla API del proyecto Supabase. Puede encontrarlos en el portal web de Supabase en Project → API . La clave API debe almacenarse en la variable SUPABASE_ANON_KEY y la URL del proyecto debe almacenarse en NEXT_PUBLIC_SUPABASE_URL .
• Agregue su tecla API OpenAI a .env.local. Puede encontrar esto en el portal web de Operai en API Keys . La tecla API debe almacenarse en la variable OPENAI_API_KEY .
• [Opcional] Variable de entorno OPEAI_PROXY se proporcionará para habilitar su proxy personalizado de la API de OpenAI. Lo dejó "" para llamar a la API oficial directamente.
• [Opcional] Variable de entorno SPLASH_URL se proporcionará para habilitar su Splash (Splash es un servicio de representación JavaScript. Es un navegador web ligero con una API HTTP, implementado en Python 3 utilizando API Twisted y QT5). Lo dejó "" para obtener URL directamente.
• Iniciar la aplicación

npm run dev

• Abra http: // localhost: 3000 en su navegador para ver la aplicación.