chatgpt pgvector

Приложение для стартового приложения для конкретного домена

CHATGPT отлично подходит для повседневных, общего назначения вопросов-ответов, но не хватает, когда необходимы знания, специфичные для домена. Кроме того, он составляет ответы, чтобы заполнить свои пробелы в знаниях и никогда не ссылаться на свои источники, поэтому его нельзя доверять. В этом стартовом приложении используются вставки в сочетании с векторным поиском, чтобы решить это или, в частности, чтобы показать, как API завершения чата OpenAI можно использовать для создания разговорных интерфейсов для знаний, специфичных для домена.

Встраиваемые, представленные векторами чисел с плавающей точкой, измеряют «родственность» текстовых строк. Они очень полезны для ранжирования результатов поиска, кластеризации, классификации и т. Д. Связанность измеряется сходством косинуса. Если сходство косинуса между двумя векторами близко к 1, векторы очень похожи и указывают в одном и том же направлении. В случае встроенных текста высокое сходство косинуса между двумя векторами встраивания указывает на то, что соответствующие текстовые строки тесно связаны.

В этом стартовом приложении используются встраиваемые вставки для генерации векторного представления документа, а затем использует векторный поиск, чтобы найти наиболее похожие документы для запроса. Результаты векторного поиска затем используются для построения подсказки. Затем ответ передается пользователю. Проверьте сообщения в блоге Supabase на PGVector и Openai Entgdings для получения дополнительной информации.

Используются технологии:

• NextJs (React Framework) + хостинг Vercel
• Supabase (используя их реализацию PGVector в качестве векторной базы данных)
• OpenAI API (для создания внедрения и завершения чата)
• Tailwindcss (для стиля)

Функциональный обзор

Создание и хранение вторжений:

• Веб-страницы скребаются, разделяются на простой текст и разделены на документы 1000-символов.
• API встраивания OpenAI используется для генерации внедрения для каждого документа с использованием модели «Текст-эмбетки-ADA-002»
• Вторжения затем хранятся в таблице Supabase Postgres с использованием PGVector; В таблице есть три столбца: текст документа, URL -адрес источника и векторы встраивания, возвращенные из API OpenAI.

Отвечая на запросы:

• Одно встрадание генерируется из приглашения пользователя
• Что встраивание используется для выполнения поиска сходства с векторной базой данных
• Результаты поиска сходства используются для построения подсказки для GPT-3.5/GPT-4
• Ответ GPT затем передается пользователю.

Начиная

Следующее руководство по настройке предполагает, по крайней мере, базовое знакомство, разрабатывая веб-приложения с React и NextJS. Опыт работы с APIS Openai и Supabase полезен, но не обязателен для работы.

Настройка Supabase

• Создайте учетную запись и проект Supabase по адресу https://app.supabase.com/sign-in. Примечание. Поддержка Supabase для PGVector является относительно новой (02/2023), поэтому важно создать новый проект, если ваш проект был создан до этого.
• Сначала мы включим векторное расширение. В Supabase это можно сделать с веб -портала через Database → Extensions . Вы также можете сделать это в SQL, работая:

 create extension vector;

• Далее давайте создадим таблицу для хранения наших документов и их вторжений. Отправляйтесь в редактор SQL и запустите следующий запрос:

 create table documents (
  id bigserial primary key ,
  content text ,
  url text ,
  embedding vector ( 1536 )
);

• Наконец, мы создадим функцию, которая будет использоваться для выполнения поиска сходства. Отправляйтесь в редактор SQL и запустите следующий запрос:

 create or replace function match_documents (
  query_embedding vector( 1536 ),
  similarity_threshold float,
  match_count int
)
returns table (
  id bigint ,
  content text ,
  url text ,
  similarity float
)
language plpgsql
as $$
begin
  return query
  select
    documents . id ,
    documents . content ,
    documents . url ,
    1 - ( documents . embedding <=> query_embedding) as similarity
  from documents
  where 1 - ( documents . embedding <=> query_embedding) > similarity_threshold
  order by documents . embedding <=> query_embedding
  limit match_count;
end;
$$;

Настройка локальной среды

• Клон репо: gh repo clone gannonh/chatgpt-pgvector
• Открыть в вашем любимом редакторе (следующее предполагает код против Mac)

 cd chatgpt-pgvector
code .

• установить зависимости

npm install

• Создайте файл .env.local в корневом каталоге для хранения переменных среды:

cp .env.local.example .env.local

• Откройте файл .env.local и добавьте URL -адрес проекта Supabase Project и ключ API. Вы можете найти их на веб -портале Supabase под Project → API . Ключ API должен храниться в переменной SUPABASE_ANON_KEY , и URL -адрес проекта должен храниться в рамках NEXT_PUBLIC_SUPABASE_URL .
• Добавьте свой ключ API OpenAI к .env.local. Вы можете найти это на веб -портале Openai под API Keys . Ключ API должен храниться в переменной OPENAI_API_KEY .
• [Необязательно] Переменная среда OPEAI_PROXY будет предоставлена ​​для включения пользовательского прокси Openai API. Оставил его "" чтобы позвонить официальному API напрямую.
• [Необязательно] Среда переменная SPLASH_URL для включения вашего SPLASH (SPLASH - это служба рендеринга JavaScript. Это легкий веб -браузер с API HTTP, реализованный в Python 3 с использованием API Twisted и QT5). Оставил это "" , чтобы принести URL Direct.
• Запустить приложение

npm run dev

• Откройте http: // localhost: 3000 в вашем браузере, чтобы просмотреть приложение.