openai streams

Fluxos de abertura

Github | Npm | Documentos

Agora, com o suporte da API do ChatGPT! Consulte Use com API ChatGPT . (Sussurro em breve!)

Esta biblioteca retorna apenas as respostas da API do OpenAI como fluxos. Os pontos de extremidade não-stream como edits etc. são simplesmente um fluxo com apenas uma atualização de pedaços.

• Prioriza os fluxos, para que você possa exibir uma conclusão à medida que chegar.
• Cargas automáticas OPENAI_API_KEY FROM process.env .
• Uma única função com o tipo de parâmetro inferido com base no endpoint que você fornece.

Usa ReadableStream por padrão para navegador, Edge Runtime e Node 18+, com uma versão NodeJS.Readable disponível no openai-streams/node .

Instalação

yarn add openai-streams
# -or-
npm i --save openai-streams

Uso

 await OpenAI (
  /** 'completions', 'chat', etc. */
  ENDPOINT ,
  /** max_tokens, temperature, messages, etc. */
  PARAMS ,
  /** apiBase, apiKey, mode, controller, etc */
  OPTIONS
) ;

1. Defina a variável OPENAI_API_KEY ENV (ou passe a opção { apiKey } ).

   A biblioteca jogará se não conseguir encontrar uma chave da API. Seu programa carregará isso no tempo de execução do process.env.OPENAI_API_KEY por padrão, mas você pode substituir isso pela opção { apiKey } .

   IMPORTANTE: Para segurança, você deve carregar isso apenas de uma variável process.env .

    await OpenAI (
     "completions" ,
     {
       /* endpoint params */
     } ,
     { apiKey : process . env . MY_SECRET_API_KEY }
   ) ;

2. Ligue para a API via await OpenAI(endpoint, params, options?) .

   O tipo de params será inferido com base no endpoint que você fornece, ou seja, para o endpoint "edits" , import('openai').CreateEditRequest será aplicado.

   Exemplo com o modo de streaming raw :

    await OpenAI (
     "chat" ,
     {
       messages : [
         /* ... */
       ] ,
     } ,
     { mode : "raw" }
   ) ; 

Edge/navegador: consumindo fluxos nas funções Next.js Edge

Isso também funcionará no navegador, mas você precisará dos usuários para colar a chave do OpenAI e passar a opção { apiKey } .

 import { OpenAI } from "openai-streams" ;

export default async function handler ( ) {
  const stream = await OpenAI ( "completions" , {
    model : "text-davinci-003" ,
    prompt : "Write a happy sentence.nn" ,
    max_tokens : 100 ,
  } ) ;

  return new Response ( stream ) ;
}

export const config = {
  runtime : "edge" ,
} ; 

Nó: consumindo fluxos na rota da API Next.js (nó)

Se você não puder usar um tempo de execução do Edge ou desejar consumir fluxos Node.js por outro motivo, use openai-streams/node :

 import type { NextApiRequest , NextApiResponse } from "next" ;
import { OpenAI } from "openai-streams/node" ;

export default async function test ( _ : NextApiRequest , res : NextApiResponse ) {
  const stream = await OpenAI ( "completions" , {
    model : "text-davinci-003" ,
    prompt : "Write a happy sentence.nn" ,
    max_tokens : 25 ,
  } ) ;

  stream . pipe ( res ) ;
}

_{Veja o exemplo no example/src/pages/api/hello.ts .}

Use com API de chatgpt

Por padrão, com mode = "tokens" , você receberá apenas a mensagem deltas. Para eventos completos, use mode = "raw" .

Veja: https://platform.openai.com/docs/guides/chat/introduction

 const stream = await OpenAI ( "chat" , {
  model : "gpt-3.5-turbo" ,
  messages : [
    {
      role : "system" ,
      content : "You are a helpful assistant that translates English to French." ,
    } ,
    {
      role : "user" ,
      content : 'Translate the following English text to French: "Hello world!"' ,
    } ,
  ] ,
} ) ;

No modo tokens , você apenas receberá os pedaços de resposta, que se parecem com isso (separados com linhas de ilustração):

 Hello
!
 How
 can
 I
 assist
 you
 today
?

Use mode = "raw" para acesso a eventos brutos.

Notas

1. Internamente, os fluxos são frequentemente manipulados usando geradores via for await (const chunk of yieldStream(stream)) { ... } . Recomendamos seguir esse padrão se você achar intuitivo.