OpenPipe

หมายเหตุ: เราได้หยุดการพัฒนาชั่วคราวเกี่ยวกับ OpenPipe เวอร์ชันโอเพ่นซอร์สเพื่อรวมรหัสบุคคลที่สามที่เป็นกรรมสิทธิ์ เราหวังว่าจะทำให้ส่วนที่ไม่เป็นกรรมสิทธิ์ของที่เก็บเปิดอีกครั้งภายใต้โมเดลแกนเปิดเมื่อเรามีแบนด์วิดท์ที่จะทำเช่นนั้น!

OpenPipe

การปรับจูนโอเพนซอร์ซและแพลตฟอร์มโฮสต์แบบจำลอง

การสาธิต - ทำงานในพื้นที่ - เอกสาร

ใช้ LLM ที่ทรงพลัง แต่มีราคาแพงเพื่อปรับแต่งรุ่นเล็กและราคาถูกกว่าที่เหมาะสมกับความต้องการที่แน่นอนของคุณ สอบถามคำขอที่ผ่านมาของคุณและประเมินโมเดลต่อกัน สลับระหว่าง OpenAI และรุ่นที่ปรับแต่งด้วยรหัสหนึ่งบรรทัด

คุณสมบัติ

• การรวมเข้ากับ SDK ของ OpenAi ทั้งใน Python และ TypeScript
  • Python SDK
  • typescript sdk
• จุดสิ้นสุดการแชทที่เข้ากันได้ของ OpenAI
• ปรับแต่ง GPT 3.5, Mistral และ Llama 2 รุ่น โฮสต์บนแพลตฟอร์มหรือดาวน์โหลดน้ำหนัก
  • โมเดลเอาต์พุตเข้ากันได้ OpenAI
  • การเปลี่ยนจาก GPT 4 เป็นโมเดล mistral ที่ปรับแต่งอย่างละเอียดจะต้องเปลี่ยนชื่อรุ่นเท่านั้น
• บันทึกการสอบถามโดยใช้ตัวกรองในตัวที่มีประสิทธิภาพ
• นำเข้าชุดข้อมูลในไฟล์ JSONL ที่เข้ากันได้ของ OpenAI
• ตัดชิ้นส่วนใหญ่ของข้อความที่ซ้ำกันเช่นระบบพรอมต์
• เปรียบเทียบความแม่นยำในการส่งออกกับรุ่นพื้นฐานเช่น GPT-3.5-turbo

รุ่นฐานที่รองรับ

• Mistralai/Mixtral-8x7b-Instruct-V0.1
• OpenPipe/Mistral-FT-Optimized-1227
• meta-llama/llama-3-8b
• meta-llama/llama-3-70b
• GPT-3.5-turbo-0613
• GPT-3.5-turbo-1106
• GPT-3.5-turbo-0125

เอกสาร

• ดูเอกสาร

ทำงานในพื้นที่

1. ติดตั้ง PostgreSQL
2. ติดตั้ง NodeJS 20 (เวอร์ชันก่อนหน้านี้มีแนวโน้มว่าจะทำงานได้มาก แต่ไม่ได้ทดสอบ)
3. ติดตั้ง pnpm : npm i -g pnpm
4. โคลนที่เก็บนี้: git clone https://github.com/openpipe/openpipe
5. ติดตั้งการพึ่งพา: cd openpipe && pnpm install
6. สร้างไฟล์ .env ( cd app && cp .env.example .env ) และป้อน OPENAI_API_KEY ของคุณ
7. หากคุณเพิ่งติดตั้ง postgres และต้องการใช้ DATABASE_URL เริ่มต้นเรียกใช้คำสั่งต่อไปนี้:

psql postgres
CREATE ROLE postgres WITH LOGIN PASSWORD ' postgres ' ;
ALTER ROLE postgres SUPERUSER ;

8. อัปเดต DATABASE_URL หากจำเป็นต้องชี้ไปที่อินสแตนซ์ Postgres ของคุณและเรียกใช้ pnpm prisma migrate dev ในไดเรกทอรี app เพื่อสร้างฐานข้อมูล
9. สร้างแอพ GitHub OAUTH ตั้งค่า URL การโทรกลับเป็น <your local instance>/api/auth/callback/github , เช่น http://localhost:3000/api/auth/callback/github
10. อัปเดตค่า GITHUB_CLIENT_ID และ GITHUB_CLIENT_SECRET จากแอพ GitHub OAuth (หมายเหตุ: PR เพื่อสร้างความถูกต้องเมื่อทำงานในเครื่องจะมีส่วนร่วมที่ยอดเยี่ยม!)
11. ในการเริ่มต้นแอพเรียกใช้ pnpm dev ในไดเรกทอรี app
12. ไปที่ http: // localhost: 3000

ใช้ในพื้นที่

import os
from openpipe import OpenAI

client = OpenAI(
    api_key= " Your API Key " ,
    openpipe={
        " api_key " : " Your OpenPipe API Key " ,
        " base_url " : " http://localhost:3000/api/v1 " , # Local OpenPipe instance
    }
)

completion = client.chat.completions.create(
    model= " gpt-3.5-turbo " ,
    messages=[{ " role " : " system " , " content " : " count to 10 " }],
    openpipe={
        " tags " : { " prompt_id " : " counting " },
        " log_request " : True
    },
)

ทดสอบในพื้นที่

1. คัดลอกไฟล์ .env ของคุณไปที่ .env.test
2. อัปเดต DATABASE_URL เพื่อให้มีชื่อฐานข้อมูลที่แตกต่างจากการพัฒนาของคุณ
3. เรียกใช้ DATABASE_URL=[your new datatase url] pnpm prisma migrate dev --skip-seed --skip-generate
4. เรียกใช้ pnpm test