หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Openopenai

ตัวอย่างการใช้งาน

สร้างสถานะ

  • อินโทร
  • ทำไม
  • กองซ้อน
  • การพัฒนา
    • ตัวแปรสภาพแวดล้อม
    • บริการ
    • ตัวอย่าง e2e
      • ตัวอย่างฟังก์ชั่นที่กำหนดเอง
      • ตัวอย่างเครื่องมือดึง
    • เส้นทางเซิร์ฟเวอร์
  • สิ่งที่ต้องทำ
  • ใบอนุญาต

อินโทร

โครงการนี้เป็นรุ่นที่โฮสต์ตัวเองของ API ผู้ช่วยรัฐใหม่ของ OpenAI -

คำจำกัดความและประเภทของ API ทั้งหมดนั้น ถูกสร้างขึ้นอัตโนมัติ 100% จากข้อมูลจำเพาะ OpenAPI อย่างเป็นทางการของ OpenAI ดังนั้นสิ่งที่ต้องใช้ในการสลับระหว่าง API อย่างเป็นทางการและ API ที่กำหนดเองของคุณกำลังเปลี่ยน baseURL -

ซึ่งหมายความว่าพารามิเตอร์ API การตอบสนองและประเภททั้งหมดนั้นเข้ากันได้กับ Wire กับ OpenAI API อย่างเป็นทางการและความจริงที่ว่าพวกเขาได้รับการสร้างอัตโนมัติหมายความว่ามันจะค่อนข้างง่ายที่จะทำให้พวกเขาซิงค์ตลอดเวลา

นี่คือตัวอย่างที่ใช้แพ็คเกจ openai อย่างเป็นทางการของ Node.js: 

 import OpenAI from 'openai'

// The only difference is the `baseURL` pointing to your custom API server 
const openai = new OpenAI ( {
  baseURL : 'http://localhost:3000'
} )

// Since the custom API is spec-compliant with OpenAI, you can use the sdk normally ?
const assistant = await openai . beta . assistants . create ( {
  model : 'gpt-4-1106-preview' ,
  instructions : 'You are a helpful assistant.'
} )
ตัวอย่าง Python

นี่คือตัวอย่างเดียวกันโดยใช้แพ็คเกจ Python openai อย่างเป็นทางการ: 

 from openai import OpenAI

client = OpenAI (
    base_url : "http://localhost:3000"
)

# Now you can use the sdk normally!
# (only file and beta assistant resources are currently supported)
# You can even switch back and forth between the official and custom APIs!
assistant = client . beta . assistants . create (
    model = "gpt-4-1106-preview" ,
    description = "You are a helpful assistant."
)

โปรดทราบว่าโครงการนี้ไม่ได้หมายถึงการพักผ่อนหย่อนใจอย่างเต็มรูปแบบของ OpenAI API ทั้งหมด ค่อนข้าง จะมุ่งเน้นเฉพาะส่วนที่เป็นสถานะของผู้ช่วยใหม่ API รองรับประเภททรัพยากรต่อไปนี้:

  • ผู้ช่วย
  • ผู้ช่วย
  • ไฟล์
  • ข้อความ
  • MessageFiles
  • ด้าย
  • วิ่ง
  • Runsteps

ดูคู่มือผู้ช่วย OpenAI อย่างเป็นทางการสำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการทำงานของผู้ช่วย

ทำไม

ความสามารถในการเรียกใช้ผู้ช่วย OpenAI แบบกำหนดเองที่ เข้ากันได้ 100% กับผู้ช่วย OpenAI อย่างเป็นทางการ ปลดล็อคความเป็นไปได้ที่เป็นประโยชน์ทุกประเภท:

  • ใช้ผู้ช่วย OpenAI ที่มี โมเดลที่กำหนดเอง (OSS FTW!)?
  • ผ้าขี้ริ้วที่ปรับแต่งได้อย่างเต็มที่ ผ่านเครื่องมือดึงข้อมูลในตัว (Langchain และ Llamaidex Integrations เร็ว ๆ นี้)
  • การใช้ ล่ามโค้ดที่กำหนดเอง เช่น Open-Interpreter
  • การโฮสต์ตนเอง / การปรับใช้ผู้ช่วย
  • การควบคุมอย่างเต็มที่กับ ผู้ช่วย evals
  • การพัฒนาและทดสอบ GPTs ใน สภาพแวดล้อมแบบทราย อย่างเต็มที่
  • การทดสอบ การกระทำที่กำหนดเอง ของ Sandboxed ก่อนที่จะนำไปใช้กับ OpenAI "GPT Store"

สิ่งสำคัญที่สุดคือถ้า OpenAI "GPT Store" จบลงด้วยการได้รับแรงฉุดจากผู้ใช้งานประจำสัปดาห์ 100M ของ ChatGPT ความสามารถในการทำงานอย่างน่าเชื่อถือดีบักและปรับแต่งผู้ช่วยที่เข้ากันได้ของ OpenAI จะกลายเป็นสิ่งสำคัญอย่างไม่น่าเชื่อในอนาคต

ฉันสามารถจินตนาการถึงร้านค้าผู้ช่วยในอนาคตที่เข้ากันได้อย่างเต็มที่กับ GPT ของ Openai แต่แทนที่จะพึ่งพา Openai ในฐานะผู้รักษาประตูมันอาจจะมี การกระจายอำนาจอย่างเต็มที่หรือบางส่วน -

กองซ้อน

  • Postgres - ที่เก็บข้อมูลหลักผ่าน PRISMA (ไฟล์สคีมา)
  • Redis - สำรองที่เก็บสำหรับคิวงาน async ที่ใช้ในการประมวลผลเธรดรันผ่าน bullmq
  • S3 - เก็บไฟล์ที่อัปโหลด
    • รองรับผู้ให้บริการจัดเก็บข้อมูลที่เข้ากันได้กับ S3 เช่น CloudFlare R2
  • Hono - ให้บริการส่วนที่เหลือ API ผ่าน @hono/zod -openapi
    • เราใช้อะแดปเตอร์ node.js โดยค่าเริ่มต้น แต่ Hono รองรับสภาพแวดล้อมมากมายรวมถึงคนงาน CF, Vercel, Netlify, Deno, Bun, Lambda ฯลฯ
  • Dexter - ผ้าขี้ริ้วผลิตโดย Dexa
  • Typescript?

การพัฒนา

ข้อกำหนดเบื้องต้น:

  • โหนด> = 18
  • pnpm> = 8

ติดตั้ง deps: 

pnpm install

สร้างประเภท Prisma ในพื้นที่: 

pnpm generate

ตัวแปรสภาพแวดล้อม 

cp .env.example .env
  • Postgres
    • DATABASE_URL - สตริงการเชื่อมต่อ postgres
    • บน macOS: brew install postgresql && brew services start postgresql
    • คุณจะต้องเรียกใช้ npx prisma db push เพื่อตั้งค่าฐานข้อมูลของคุณตาม Schema Prisma ของเรา
  • Openai
    • OPENAI_API_KEY - คีย์ OpenAI API สำหรับเรียกใช้การโทรเสร็จสิ้นการแชทพื้นฐาน
    • สิ่งนี้จำเป็นสำหรับตอนนี้ แต่ขึ้นอยู่กับว่าผู้คนสนใจเป็นอย่างไรมันจะไม่ยากที่จะเพิ่มการสนับสนุนสำหรับรุ่นท้องถิ่นและผู้ให้บริการอื่น ๆ
  • Redis
    • บน MacOS: brew install redis && brew services start redis
    • หากคุณมีอินสแตนซ์ของ Redis ในพื้นที่ Redis env vars เริ่มต้นควรทำงานโดยไม่ต้องแตะต้องพวกเขา
    • REDIS_HOST - ไม่บังคับ; ค่าเริ่มต้นเป็น localhost
    • REDIS_PORT - ไม่บังคับ; ค่าเริ่มต้นเป็น 6379
    • REDIS_USERNAME - ไม่บังคับ; ค่าเริ่มต้นเป็น default
    • REDIS_PASSWORD - ไม่บังคับ
  • S3 - จำเป็นต้องใช้ไฟล์แนบไฟล์
    • รองรับผู้ให้บริการที่เข้ากันได้กับ S3 เช่น CloudFlare R2
    • คุณสามารถใช้เซิร์ฟเวอร์ S3 ในเครื่องเช่น Minio หรือ LocalStack
      • ในการเรียกใช้ localstack บน macOS: brew install localstack/tap/localstack-cli && localstack start -d
      • ในการเรียกใช้ Minio MacOS: brew install minio/stable/minio && minio server /data
    • ฉันขอแนะนำให้ใช้ CloudFlare R2 - มันน่าทึ่งและควรจะฟรีสำหรับกรณีที่ใช้งานส่วนใหญ่!
    • S3_BUCKET - จำเป็น
    • S3_REGION - ไม่บังคับ; ค่าเริ่มต้นเป็น auto
    • S3_ENDPOINT - จำเป็น; ตัวอย่าง: https://<id>.r2.cloudflarestorage.com
    • ACCESS_KEY_ID - จำเป็น (CloudFlare R2 เอกสาร)
    • SECRET_ACCESS_KEY - จำเป็น (Cloudflare R2 เอกสาร)

บริการ

แอพนี้ประกอบด้วยบริการสองบริการ: เซิร์ฟเวอร์ API แบบพักผ่อนและ นักวิ่ง Async บริการทั้งสองไม่มีสัญชาติและสามารถปรับขนาดในแนวนอน

มีสองวิธีในการเรียกใช้บริการเหล่านี้ในพื้นที่ วิธีที่เร็วที่สุดคือผ่าน tsx : 

 # Start the REST API server in one shell
npx tsx src/server

# Start an async task queue runner in another shell
npx tsx src/runner

อีกทางเลือกหนึ่งคุณสามารถถ่ายทอดแหล่ง TS เป็น JS ก่อนซึ่งเป็นที่ต้องการสำหรับการทำงานในการผลิต: 

pnpm build

# Start the REST API server in one shell
npx tsx dist/server

# Start an async task queue runner in another shell
npx tsx dist/runner

ตัวอย่าง e2e

ตัวอย่างฟังก์ชั่นที่กำหนดเอง

ตัวอย่างนี้มีสคริปต์ผู้ช่วยแบบ end-to-end ซึ่งใช้ฟังก์ชัน get_weather ที่กำหนดเอง

คุณสามารถเรียกใช้งานได้โดยใช้ไคลเอนต์ OpenAI อย่างเป็นทางการสำหรับ Node.js กับ OpenAI API เริ่มต้นที่โฮสต์ที่ https://api.openai.com/v1 

npx tsx e2e

ในการเรียกใช้ชุดทดสอบเดียวกันกับ API ในพื้นที่ของคุณคุณสามารถเรียกใช้: 

OPENAI_API_BASE_URL= ' http://127.0.0.1:3000 ' npx tsx e2e

มันค่อนข้างเจ๋งที่เห็นทั้งสองชุดทดสอบที่ใช้รหัสผู้ช่วยเดียวกันที่แน่นอนโดยใช้ไคลเอนต์ Openai Node.js อย่างเป็นทางการ - โดยไม่มีความแตกต่างที่เห็นได้ชัดเจนระหว่างสองเวอร์ชัน Huzzah -

ตัวอย่างเครื่องมือดึง

ตัวอย่างนี้มีสคริปต์ผู้ช่วยแบบ end-to-end ซึ่งใช้เครื่องมือ retrieval ในตัวด้วยไฟล์ readme.md นี้เป็นไฟล์แนบ

คุณสามารถเรียกใช้งานได้โดยใช้ไคลเอนต์ OpenAI อย่างเป็นทางการสำหรับ Node.js กับ OpenAI API เริ่มต้นที่โฮสต์ที่ https://api.openai.com/v1 

npx tsx e2e/retrieval.ts

ในการเรียกใช้ชุดทดสอบเดียวกันกับ API ในพื้นที่ของคุณคุณสามารถเรียกใช้: 

OPENAI_API_BASE_URL= ' http://127.0.0.1:3000 ' npx tsx e2e/retrieval.ts

ผลลัพธ์จะแตกต่างกันเล็กน้อยเนื่องจากความแตกต่างในการใช้งานการดึงข้อมูลในตัวของ OpenAI และการใช้งานการดึงข้อมูลที่ไร้เดียงสาของเรา

โปรดทราบว่าการใช้งาน retrieval ปัจจุบันสนับสนุนไฟล์ข้อความเช่น text/plain และ markdown เท่านั้นเนื่องจากไม่มีการประมวลผลล่วงหน้าหรือการแปลงจะเสร็จสิ้นในขณะนี้ นอกจากนี้เรายังใช้วิธีการดึงข้อมูลที่ไร้เดียงสามากในขณะนี้ซึ่งจะส่งคืนเนื้อหาทั้งหมดของไฟล์ทั้งหมดเมื่อเทียบกับการประมวลผลล่วงหน้าและส่งคืนชิ้นส่วนที่เกี่ยวข้องกับความหมายมากที่สุดเท่านั้น ดูปัญหานี้สำหรับข้อมูลเพิ่มเติม

เส้นทางเซิร์ฟเวอร์ 

 GET       /files
POST      /files
DELETE    /files/:file_id
GET       /files/:file_id
GET       /files/:file_id/content
GET       /assistants
POST      /assistants
GET       /assistants/:assistant_id
POST      /assistants/:assistant_id
DELETE    /assistants/:assistant_id
GET       /assistants/:assistant_id/files
GET       /assistants/:assistant_id/files
POST      /assistants/:assistant_id/files
DELETE    /assistants/:assistant_id/files/:file_id
GET       /assistants/:assistant_id/files/:file_id
POST      /threads
GET       /threads/:thread_id
POST      /threads/:thread_id
DELETE    /threads/:thread_id
GET       /threads/:thread_id/messages
POST      /threads/:thread_id/messages
GET       /threads/:thread_id/messages/:message_id
POST      /threads/:thread_id/messages/:message_id
GET       /threads/:thread_id/messages/:message_id/files
GET       /threads/:thread_id/messages/:message_id/files/:file_id
GET       /threads/:thread_id/runs
POST      /threads/runs
POST      /threads/:thread_id/runs
GET       /threads/:thread_id/runs/:run_id
POST      /threads/:thread_id/runs/:run_id
POST      /threads/:thread_id/runs/:run_id/submit_tool_outputs
POST      /threads/:thread_id/runs/:run_id/cancel
GET       /threads/:thread_id/runs/:run_id/steps
GET       /threads/:thread_id/runs/:run_id/steps/:step_id
GET       /openapi

คุณสามารถดูข้อมูลจำเพาะ OpenAPI ที่สร้างขึ้นอัตโนมัติของเซิร์ฟเวอร์ได้โดยเรียกใช้เซิร์ฟเวอร์จากนั้นไปที่ http://127.0.0.1:3000/openapi

สิ่งที่ต้องทำ

สถานะ : เส้นทาง API ทั้งหมดได้รับการทดสอบแบบเคียงข้างกับ OpenAI API อย่างเป็นทางการและทำงานตามที่คาดไว้ คุณสมบัติที่ขาดหายไปเพียงอย่างเดียวในขณะนี้คือการรองรับเครื่องมือ code_interpreter ในตัว (ปัญหา) และรองรับไฟล์ที่ไม่ใช่ข้อความด้วยเครื่องมือ retrieval ในตัว (ปัญหา) ฟังก์ชั่นอื่น ๆ ทั้งหมดควรได้รับการสนับสนุนอย่างเต็มที่และเข้ากันได้กับ API อย่างเป็นทางการ

สิ่งที่ต้องทำ :

  • โฮสต์ตัวอย่าง (นำคีย์ OpenAI API ของคุณมาเอง?)
  • รับโฮสต์ Redis ทำงาน
  • จัดการเธรดและข้อความล็อค
    • ไม่แน่ใจว่าวิธีนี้ทำงานอย่างไร แต่ตามคู่มือผู้ช่วย OpenAI เธรดจะถูกล็อคในขณะที่กำลังดำเนินการ
  • เครื่องมือ code_interpreter ในตัว (ปัญหา)
  • รองรับไฟล์ที่ไม่ใช่ข้อความด้วยเครื่องมือ retrieval ในตัว (ปัญหา)
  • OpenAI ใช้ ID คำนำหน้าสำหรับทรัพยากรซึ่งจะดีมากยกเว้นว่าเป็นความเจ็บปวดที่จะทำงานกับ Prisma (ปัญหา)
  • คิดว่าทำไมการแก้ปัญหา localhost ไม่ทำงานสำหรับ #6
  • จัดการบริบทล้น (การตัดทอนตอนนี้)

ใบอนุญาต

MIT © Travis Fischer

หากคุณพบว่าโครงการนี้มีประโยชน์โปรดพิจารณาสนับสนุนฉันหรือติดตามฉันทาง Twitter

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด