หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด



กำลังมองหาห้องสมุด JS/TS อยู่หรือเปล่า? ตรวจสอบ agentsjs

[ใหม่] การสนับสนุน OpenAI Realtime API

เรากำลังร่วมมือกับ OpenAI ใน API MultimodalAgent ใหม่ในกรอบตัวแทน คลาสนี้จะปิด API เรียลไทม์ของ OpenAi อย่างสมบูรณ์นำไปสู่โปรโตคอลลวดดิบและให้การขนส่ง WEBRTC ที่ต่ำเป็นพิเศษระหว่าง GPT-4O และอุปกรณ์ของผู้ใช้ของคุณ สแต็กเดียวกันนี้มีพลังเสียงขั้นสูงในแอพ CHATGPT

  • ลองใช้ API เรียลไทม์ในสนามเด็กเล่นของเรา [รหัส]
  • ตรวจสอบคำแนะนำของเราในการสร้างแอพแรกของคุณด้วย API ใหม่นี้

ตัวแทนคืออะไร?

Framework Agents ช่วยให้คุณสร้างโปรแกรมเซิร์ฟเวอร์ที่ขับเคลื่อนด้วย AI ที่สามารถมองเห็นได้ยินและพูดแบบเรียลไทม์ ตัวแทนของคุณเชื่อมต่อกับอุปกรณ์ผู้ใช้ปลายทางผ่านเซสชัน LiveKit ในช่วงเซสชั่นนั้นตัวแทนของคุณสามารถประมวลผลข้อความเสียงรูปภาพหรือการสตรีมวิดีโอจากอุปกรณ์ของผู้ใช้และให้โมเดล AI สร้างการรวมกันของโมดูลเดียวกันเหล่านั้นเป็นเอาต์พุตและสตรีมกลับไปยังผู้ใช้

คุณสมบัติ

  • ปลั๊กอินสำหรับ LLM ที่เป็นที่นิยมบริการการถอดความและข้อความเป็นคำพูดและฐานข้อมูล RAG
  • abstractions ระดับสูงสำหรับการสร้างตัวแทนเสียงหรือผู้ช่วยด้วยการตรวจจับการเลี้ยวอัตโนมัติการจัดการการหยุดชะงักการโทรฟังก์ชั่นและการถอดความ
  • เข้ากันได้กับสแต็คโทรศัพท์ของ LiveKit ช่วยให้ตัวแทนของคุณโทรออกหรือรับสายจากโทรศัพท์
  • ระบบบาลานซ์โหลดแบบบูรณาการที่จัดการกลุ่มตัวแทนด้วยการจัดส่งตามขอบการตรวจสอบและการล้มเหลวที่โปร่งใส
  • การใช้งานตัวแทนของคุณนั้นเหมือนกันในสภาพแวดล้อมในท้องถิ่นโฮสต์ตัวเองและสภาพแวดล้อมคลาวด์ LiveKit

การติดตั้ง

ในการติดตั้งไลบรารีตัวแทนหลัก: 

pip install livekit-agents

ปลั๊กอิน

เฟรมเวิร์กมีปลั๊กอินที่หลากหลายซึ่งทำให้ง่ายต่อการประมวลผลการสตรีมอินพุตหรือสร้างเอาต์พุต ตัวอย่างเช่นมีปลั๊กอินสำหรับการแปลงข้อความเป็นคำพูดหรือการอนุมานกับ LLM ที่เป็นที่นิยม นี่คือวิธีที่คุณสามารถติดตั้งปลั๊กอิน: 

pip install livekit-plugins-openai

วันนี้ปลั๊กอินต่อไปนี้มีให้:

ปลั๊กอิน คุณสมบัติ
livekit-plugins-anthropic llm
Livekit-Plugins-Assemblyai STT
LiveKit-Plugins-Azure STT, TTS
LiveKit-Plugins-Deepgram STT
LiveKit-Plugins-Cartesia TTS
Livekit-Plugins-Elevenlabs TTS
LiveKit-Plugins-Playht TTS
LiveKit-Plugins-google STT, TTS
LiveKit-Plugins-NLTK สาธารณูปโภคสำหรับการทำงานกับข้อความ
Livekit-plugins-rag ยูทิลิตี้สำหรับการดำเนินการผ้าขี้ริ้ว
LiveKit-Plugins-Openai LLM, STT, TTS, Assistants API, REALTIME API
LiveKit-Plugins-Silero VAD

เอกสารและคำแนะนำ

เอกสารเกี่ยวกับเฟรมเวิร์กและวิธีการใช้งานสามารถพบได้ที่นี่

ตัวอย่างตัวแทน

คำอธิบาย ลิงค์สาธิต ลิงค์รหัส
เอเจนต์เสียงพื้นฐานโดยใช้ไปป์ไลน์ของ STT, LLM และ TTS การสาธิต รหัส
ตัวแทนเสียงโดยใช้ API OpenAI RealTime ใหม่ใหม่ การสาธิต รหัส
Super Fast Voice Agent โดยใช้ Cerebras Hosted Llama 3.1 การสาธิต รหัส
ตัวแทนเสียงโดยใช้โมเดลโซนิคของคาร์ทีเซีย การสาธิต N/A
ตัวแทนที่ค้นหาสภาพอากาศปัจจุบันผ่านการโทรฟังก์ชั่น N/A รหัส
เอเจนต์เสียงที่ดำเนินการค้นหาโดยใช้ผ้าขี้ริ้ว N/A รหัส
ตัวแทนวิดีโอที่เผยแพร่สตรีมของเฟรม RGB N/A รหัส
ตัวแทนการถอดความที่สร้างคำอธิบายข้อความจากคำพูดของผู้ใช้ N/A รหัส
ตัวแทนแชทที่คุณสามารถส่งข้อความที่จะตอบกลับด้วยคำพูดที่สร้างขึ้น N/A รหัส
การประชุมทางโทรศัพท์หลายตัวแทนท้องถิ่น N/A รหัส
ตัวแทนการกลั่นกรองที่ใช้ Hive เพื่อตรวจจับวิดีโอสแปม/ที่ไม่เหมาะสม N/A รหัส

การบริจาค

เฟรมเวิร์กตัวแทนอยู่ภายใต้การพัฒนาที่ใช้งานอยู่ในสนามที่มีการพัฒนาอย่างรวดเร็ว เรายินดีต้อนรับและชื่นชมการมีส่วนร่วมทุกชนิดไม่ว่าจะเป็นข้อเสนอแนะการแก้ไขข้อผิดพลาดคุณสมบัติปลั๊กอินและเครื่องมือใหม่หรือเอกสารที่ดีกว่า คุณสามารถยื่นปัญหาภายใต้ repo นี้เปิดประชาสัมพันธ์หรือแชทกับเราในชุมชน Slack ของ LiveKit


ระบบนิเวศ LiveKit
SDK แบบเรียลไทม์ เบราว์เซอร์· iOS/MacOS/Visionos · Android · Flutter · React Native · Rust · Node.js · Python · Unity · Unity (WebGL)
API เซิร์ฟเวอร์ Node.js · Golang · Ruby · Java/Kotlin · Python · Rust · PHP (ชุมชน)
ส่วนประกอบ UI ตอบสนอง· Android เขียน· swiftui
เฟรมเวิร์กตัวแทน Python · node.js ·สนามเด็กเล่น
บริการ เซิร์ฟเวอร์ LiveKit · egress · Ingress · SIP
ทรัพยากร เอกสาร·ตัวอย่างแอพ·คลาวด์·โฮสต์ตัวเอง· CLI
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด