nextjs openai doc search

Next.JS OpenAI Doc Pesquisa iniciante

Este iniciante pega todos os arquivos .mdx no diretório pages e os processa para usar como contexto personalizado nos avisos de conclusão de texto do OpenAI.

Implantar

Implante este iniciador para o Vercel. A integração Supabase definirá automaticamente as variáveis ​​de ambiente necessárias e configurará seu esquema de banco de dados. Tudo o que você precisa fazer é definir seu OPENAI_KEY e você está pronto para ir!

[[

Detalhes técnicos

Construir seu próprio chatgpt personalizado envolve quatro etapas:

1. [? Tempo de construção] Pré-processo a base de conhecimento (seus arquivos .mdx na pasta pages ).
2. [? Tempo de construção] armazenar incorporação no Postgres com o PGVector.
3. [? Runtime] Execute a pesquisa de similaridade vetorial para encontrar o conteúdo relevante para a pergunta.
4. [? Tempo de execução] Injete o conteúdo no prompt de conclusão de texto do OpenAI GPT-3 e a resposta do fluxo ao cliente.

? Construir tempo

Etapa 1. E 2. Acontece no momento da construção, por exemplo, quando o Vercel cria seu próximo.js aplicativo. Durante esse período, o script generate-embeddings está sendo executado, que executa as seguintes tarefas:

 Sequenciadoiagram
    Participante Vercel
    DB participante (PGVector)
    Participante Openai (API)
    Loop 1. Pré-processo a base de conhecimento
        Vercel->> vercel: chunk .mdx páginas em seções
        Loop 2. Criar e armazenar incorporados
            Vercel->> OpenAI (API): Crie a seção de incorporação para a página
            OpenAI (API)->> Vercel: Incorporação de vetor (1536)
            VERCEL->> dB (PGVector): armazenar a incorporação para a seção de página
        fim
    fim

Além de armazenar as incorporações, esse script gera uma soma de verificação para cada um dos seus arquivos .mdx e armazena isso em outra tabela de banco de dados para garantir que as incorporações sejam regeneradas apenas quando o arquivo foi alterado.

? Tempo de execução

Etapa 3. E 4. Acontece em tempo de execução, sempre que o usuário enviar uma pergunta. Quando isso acontece, a seguinte sequência de tarefas é executada:

 Sequenciadoiagram
    cliente participante
    Função de borda do participante
    DB participante (PGVector)
    Participante Openai (API)
    Cliente->> Função da borda: {Query: Lorem Ispum}
    Crítico 3. Execute a pesquisa de similaridade vetorial
        Função de borda->> OpenAI (API): Crie incorporação para consulta
        OpenAI (API)->> Função da borda: Incorporação de vetor (1536)
        Função de borda->> dB (PGVector): pesquisa de similaridade vetorial
        DB (PGVECTOR)->> Função da borda: Conteúdo relevante de documentos
    fim
    crítico 4. Injetar conteúdo no prompt
        Função de borda->> OpenAI (API): solicitação de conclusão prompt: consulta + conteúdo relevante de documentos
        OpenAI (API)->> Cliente: Texto/Stream de Eventos: Resposta de Concluir
    fim

Os arquivos relevantes para isso são o componente SearchDialog (Client) e a vector-search (função Edge).

A inicialização do banco de dados, incluindo a configuração da extensão pgvector , é armazenada na pasta supabase/migrations , que é aplicada automaticamente à sua instância local do PostGres ao executar supabase start .

Desenvolvimento local

Configuração

• cp .env.example .env
• Defina seu OPENAI_KEY no arquivo .env recém -criado.
• Definir NEXT_PUBLIC_SUPABASE_ANON_KEY e SUPABASE_SERVICE_ROLE_KEY run:

  Nota: Você precisa executar o Supabase para recuperar as chaves.

Inicie Supabase

Verifique se você está instalado e executando localmente. Em seguida, corra

supabase start

Para recuperar NEXT_PUBLIC_SUPABASE_ANON_KEY e SUPABASE_SERVICE_ROLE_KEY run:

supabase status

Inicie o App Next.js

Em uma nova janela do terminal, execute

pnpm dev

Usando seus documentos .mdx personalizados

1. Por padrão, sua documentação precisará estar no formato .mdx . Isso pode ser feito renomeando o arquivo .md de marcação existente (ou compatível).
2. Execute pnpm run embeddings para regenerar as incorporações.

   Nota: verifique se o supabase está em execução. Para verificar, execute supabase status . Se não estiver executando supabase start .

3. Execute pnpm dev novamente para atualizar o NextJS localhost: 3000 Página renderizada.

Saber mais

• Leia o post do blog sobre como construímos o ChatGPT para os documentos Supabase.
• [Docs] PGVector: incorporação e similaridade vetorial
• Assista ao vídeo "How I Build This", de Greg, no canal do YouTube da síndrome do rabbit:

Licença

Apache 2.0