chatgpt pgvector

Application de démarrage ChatGTP spécifique au domaine

Chatgpt est idéal pour les réponses aux questions occasionnelles et à usage général, mais échoue lorsque des connaissances spécifiques au domaine sont nécessaires. De plus, il compense les réponses pour combler ses lacunes de connaissances et ne cite jamais ses sources, il ne peut donc pas vraiment lui faire confiance. Cette application de démarrage utilise des intégres couplés à la recherche vectorielle pour résoudre ce problème, ou plus spécifiquement, pour montrer comment l'API de Chat E complétion d'Openai peut être utilisé pour créer des interfaces conversationnelles en connaissances spécifiques au domaine.

Les intégres, tels que représentés par des vecteurs des nombres à virgule flottante, mesurent la "relation" des chaînes de texte. Ceux-ci sont super utiles pour classer les résultats de recherche, le regroupement, la classification, etc. La parenté est mesurée par la similitude en cosinus. Si la similitude du cosinus entre deux vecteurs est proche de 1, les vecteurs sont très similaires et pointent dans la même direction. Dans le cas des intérêts du texte, une similitude élevée en cosinus entre deux vecteurs d'incorporation indique que les chaînes de texte correspondantes sont fortement liées.

Cette application de démarrage utilise des incorporations pour générer une représentation vectorielle d'un document, puis utilise la recherche vectorielle pour trouver les documents les plus similaires à la requête. Les résultats de la recherche vectorielle sont ensuite utilisés pour construire une invite. La réponse est ensuite diffusée vers l'utilisateur. Consultez les articles de blog Supabase sur PGVector et OpenAI ENCHEDDINGS pour plus d'informations.

Technologies utilisées:

• NextJS (React Framework) + Hébergement de Vercel
• Supabase (en utilisant leur implémentation PGVector comme base de données vectorielle)
• API OpenAI (pour générer des intérêts et des compléments de chat)
• Tailwindcss (pour le style)

Aperçu fonctionnel

Création et stockage des intérêts:

• Les pages Web sont grattées, dépouillées en texte brut et divisées en documents de 1000 caractères
• L'API d'intégration d'Openai est utilisée pour générer des intégres pour chaque document en utilisant le modèle "text-embeldding-Ada-002"
• Les incorporations sont ensuite stockées dans une table SUPABASE Postgres en utilisant PGVector; Le tableau a trois colonnes: le texte du document, l'URL source et les vecteurs d'intégration sont retournés de l'API OpenAI.

Répondre aux requêtes:

• Une seule intégration est générée à partir de l'invite utilisateur
• Cette intégration est utilisée pour effectuer une recherche de similitude avec la base de données vectorielle
• Les résultats de la recherche de similitude sont utilisés pour construire une invite pour GPT-3.5 / GPT-4
• La réponse GPT est ensuite diffusée vers l'utilisateur.

Commencer

Le guide de configuration suivant suppose au moins la familiarité de base en développant des applications Web avec React et NextJS. L'expérience avec les API et Supabase OpenAI est utile mais n'est pas nécessaire pour faire fonctionner les choses.

Configurer Supabase

• Créez un compte Supabase et un projet sur https://app.supabase.com/sign-in. Remarque: La prise en charge Supabase pour PGVector est relativement nouvelle (02/2023), il est donc important de créer un nouveau projet si votre projet a été créé avant cela.
• Nous allons d'abord permettre l'extension vectorielle. Dans Supabase, cela peut être fait à partir du portail Web via Database → Extensions . Vous pouvez également le faire en SQL en fonctionnant:

 create extension vector;

• Créons ensuite une table pour stocker nos documents et leurs intérêts. Rendez-vous à l'éditeur SQL et exécutez la requête suivante:

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• Enfin, nous allons créer une fonction qui sera utilisée pour effectuer des recherches de similitude. Rendez-vous à l'éditeur SQL et exécutez la requête suivante:

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

Configuration de l'environnement local

• Clone The Repo: gh repo clone gannonh/chatgpt-pgvector
• Ouvrez dans votre éditeur préféré (ce qui suit suppose vs code sur un Mac)

 cd chatgpt-pgvector
code .

• Installer des dépendances

npm install

• Créez un fichier .env.local dans le répertoire racine pour stocker les variables d'environnement:

cp .env.local.example .env.local

• Ouvrez le fichier .env.local et ajoutez votre URL du projet Supabase et votre clé API. Vous pouvez les trouver dans le portail Web Supabase sous Project → API . La touche API doit être stockée dans la variable SUPABASE_ANON_KEY et l'URL du projet doit être stockée sous NEXT_PUBLIC_SUPABASE_URL .
• Ajoutez votre clé API OpenAI à .env.local. Vous pouvez le trouver dans le portail Web OpenAI sous API Keys . La touche API doit être stockée dans la variable OPENAI_API_KEY .
• [Facultatif] Variable d'environnement OPEAI_PROXY Soyez fournis pour activer votre proxy personnalisé de l'API OpenAI. Laissé "" pour appeler directement l'API officielle.
• Variable d'environnement [Facultatif] SPLASH_URL Soyez fournis pour activer votre Splash (Splash est un service de rendu JavaScript. Il s'agit d'un navigateur Web léger avec une API HTTP, implémentée dans Python 3 en utilisant l'API Twisted et QT5). Laissé "" pour récupérer l'URL directement.
• Démarrer l'application

npm run dev

• Ouvrez http: // localhost: 3000 dans votre navigateur pour afficher l'application.