openai streams

Openai Streams

GitHub | Npm | Dokumen

Sekarang dengan dukungan API chatgpt! Lihat Gunakan dengan chatgpt API . (Whisper segera hadir!)

Perpustakaan ini mengembalikan respons API OpenAI hanya sebagai aliran. Titik akhir non-aliran seperti edits dll hanyalah aliran dengan hanya satu pembaruan potongan.

• Memprioritaskan aliran, sehingga Anda dapat menampilkan penyelesaian saat tiba.
• Auto-Loads OPENAI_API_KEY dari process.env .
• Satu fungsi tunggal dengan tipe parameter yang disimpulkan berdasarkan titik akhir yang Anda berikan.

Menggunakan ReadableStream secara default untuk browser, edge runtime, dan node 18+, dengan openai-streams/node NodeJS.Readable .

Instalasi

yarn add openai-streams
# -or-
npm i --save openai-streams

Penggunaan

 await OpenAI (
  /** 'completions', 'chat', etc. */
  ENDPOINT ,
  /** max_tokens, temperature, messages, etc. */
  PARAMS ,
  /** apiBase, apiKey, mode, controller, etc */
  OPTIONS
) ;

1. Atur variabel OPENAI_API_KEY env (atau lulus opsi { apiKey } ).

   Perpustakaan akan melempar jika tidak dapat menemukan kunci API. Program Anda akan memuat ini saat runtime dari process.env.OPENAI_API_KEY secara default, tetapi Anda dapat mengganti ini dengan opsi { apiKey } .

   PENTING: Untuk keamanan, Anda hanya harus memuat ini dari variabel process.env .

    await OpenAI (
     "completions" ,
     {
       /* endpoint params */
     } ,
     { apiKey : process . env . MY_SECRET_API_KEY }
   ) ;

2. Hubungi API melalui await OpenAI(endpoint, params, options?) .

   Jenis params akan disimpulkan berdasarkan endpoint yang Anda berikan, yaitu untuk titik akhir "edits" , import('openai').CreateEditRequest akan ditegakkan.

   Contoh dengan mode streaming raw :

    await OpenAI (
     "chat" ,
     {
       messages : [
         /* ... */
       ] ,
     } ,
     { mode : "raw" }
   ) ; 

Edge/Browser: Mengkonsumsi aliran di Next.js Functions Edge

Ini juga akan berfungsi di browser, tetapi Anda akan membutuhkan pengguna untuk menempelkan kunci OpenAI mereka dan meneruskannya melalui opsi { apiKey } .

 import { OpenAI } from "openai-streams" ;

export default async function handler ( ) {
  const stream = await OpenAI ( "completions" , {
    model : "text-davinci-003" ,
    prompt : "Write a happy sentence.nn" ,
    max_tokens : 100 ,
  } ) ;

  return new Response ( stream ) ;
}

export const config = {
  runtime : "edge" ,
} ; 

Node: Mengkonsumsi aliran di rute API Next.js (Node)

Jika Anda tidak dapat menggunakan edge runtime atau ingin mengkonsumsi aliran node.js untuk alasan lain, gunakan openai-streams/node :

 import type { NextApiRequest , NextApiResponse } from "next" ;
import { OpenAI } from "openai-streams/node" ;

export default async function test ( _ : NextApiRequest , res : NextApiResponse ) {
  const stream = await OpenAI ( "completions" , {
    model : "text-davinci-003" ,
    prompt : "Write a happy sentence.nn" ,
    max_tokens : 25 ,
  } ) ;

  stream . pipe ( res ) ;
}

_{Lihat contoh dalam example/src/pages/api/hello.ts .}

Gunakan dengan chatgpt API

Secara default, dengan mode = "tokens" , Anda hanya akan menerima pesan Delta. Untuk acara penuh, gunakan mode = "raw" .

Lihat: https://platform.openai.com/docs/guides/chat/introduction

 const stream = await OpenAI ( "chat" , {
  model : "gpt-3.5-turbo" ,
  messages : [
    {
      role : "system" ,
      content : "You are a helpful assistant that translates English to French." ,
    } ,
    {
      role : "user" ,
      content : 'Translate the following English text to French: "Hello world!"' ,
    } ,
  ] ,
} ) ;

Dalam mode tokens , Anda hanya akan menerima potongan respons, yang terlihat seperti ini (dipisahkan dengan newline untuk ilustrasi):

 Hello
!
 How
 can
 I
 assist
 you
 today
?

Gunakan mode = "raw" untuk akses ke acara mentah.

Catatan

1. Secara internal, aliran sering dimanipulasi menggunakan generator via for await (const chunk of yieldStream(stream)) { ... } . Kami sarankan mengikuti pola ini jika Anda merasa intuitif.