agents

JS/TS 라이브러리를 찾고 계십니까? 에이전트 JS를 확인하십시오

[신규] OpenAi 실시간 API 지원

우리는 에이전트 프레임 워크의 새로운 MultimodalAgent 벤트 API에서 OpenAI와 파트너십을 맺고 있습니다. 이 클래스는 OpenAI의 실시간 API를 완전히 랩핑하고 원시 와이어 프로토콜을 추상화하며 GPT-4O와 사용자의 장치간에 매우 낮은 대기 시간 WEBRTC 전송을 제공합니다. 이 동일한 스택은 Chatgpt 앱에서 고급 음성을 강화합니다.

• 놀이터에서 실시간 API를 사용해보십시오 [코드]
• 이 새로운 API로 첫 번째 앱을 구축하기위한 가이드를 확인하십시오.

에이전트는 무엇입니까?

에이전트 프레임 워크를 사용하면 실시간으로보고 듣고 말할 수있는 AI 구동 서버 프로그램을 구축 할 수 있습니다. 에이전트는 LiveKit 세션을 통해 최종 사용자 장치와 연결됩니다. 이 세션 동안 에이전트는 사용자의 장치에서 텍스트, 오디오, 이미지 또는 비디오 스트리밍을 처리하고 AI 모델이 출력과 동일한 방식의 조합을 생성하고 사용자에게 스트리밍 할 수 있습니다.

특징

• 인기있는 LLM, 전사 및 텍스트 음성 연설 서비스 및 RAG 데이터베이스 용 플러그인
• 자동 회전 감지, 중단 처리, 기능 호출 및 전사를 갖춘 음성 에이전트 또는 보조원 구축을위한 고급 추상화
• LiveKit의 전화기 스택과 호환되어 에이전트가 전화로 전화를 걸거나 전화를받을 수 있습니다.
• 에지 기반 디스패치, 모니터링 및 투명 장애 조치로 에이전트 풀을 관리하는 통합로드 밸런싱 시스템
• 에이전트를 실행하는 것은 Localhost, Self Host 및 Livekit 클라우드 환경에서 동일합니다.

설치

핵심 에이전트 라이브러리를 설치하려면 :

pip install livekit-agents

플러그인

프레임 워크에는 스트리밍 입력을 쉽게 처리하거나 출력을 생성 할 수있는 다양한 플러그인이 포함되어 있습니다. 예를 들어, 텍스트 음성 연설을 변환하거나 인기있는 LLM과의 추론을 실행하기위한 플러그인이 있습니다. 플러그인을 설치하는 방법은 다음과 같습니다.

pip install livekit-plugins-openai

오늘 다음 플러그인을 사용할 수 있습니다.

플러그인	특징
LiveKit-Plugins-Anthropic	LLM
LiveKit-Plugins-Assemblyai	stt
LiveKit-Plugins-Azure	stt, tts
LiveKit-Plugins-Deepgram	stt
LiveKit-Plugins-Cartesia	TTS
LiveKit-Plugins-ELEVENLABS	TTS
LiveKit-Plugins-Playht	TTS
LiveKit-Plugins-Google	stt, tts
LiveKit-Plugins-NLTK	텍스트 작업을위한 유틸리티
LiveKit-Plugins-RAG	걸레 공연을위한 유틸리티
LiveKit-Plugins-Openai	LLM, STT, TTS, Assistants API, 실시간 API
LiveKit-Plugins-Silero	vad

문서 및 안내서

프레임 워크에 대한 문서와 사용 방법은 여기에서 찾을 수 있습니다.

예제 요원

설명	데모 링크	코드 링크
STT, LLM 및 TTS의 파이프 라인을 사용하는 기본 음성 에이전트	데모	암호
새로운 OpenAI 실시간 API를 사용하는 음성 에이전트	데모	암호
뇌를 사용한 슈퍼 빠른 음성 에이전트 LLAMA 3.1	데모	암호
Cartesia의 음파 모델을 사용하는 음성 에이전트	데모	N/A
기능 통화를 통해 현재 날씨를 찾는 에이전트	N/A	암호
래그 기반 조회를 수행하는 음성 에이전트	N/A	암호
RGB 프레임 스트림을 게시하는 비디오 에이전트	N/A	암호
사용자의 연설에서 텍스트 캡션을 생성하는 전사 제	N/A	암호
생성 된 연설로 다시 응답 할 수있는 채팅 에이전트	N/A	암호
LocalHost 다중 에이전트 컨퍼런스 전화	N/A	암호
Hive를 사용하여 스팸/학대 비디오를 감지하는 중재 에이전트	N/A	암호

기여

에이전트 프레임 워크는 빠르게 진화하는 분야에서 적극적으로 개발 중입니다. 피드백, 버그 픽스, 기능, 새로운 플러그인 및 도구 또는 더 나은 문서 등 모든 종류의 기여를 환영하고 감사합니다. 이 저장소에 따라 문제를 제출하거나 PR을 열거나 LiveKit의 슬랙 커뮤니티에서 우리와 채팅 할 수 있습니다.

라이브 키트 생태계
실시간 SDK	브라우저 · iOS/MacOS/VisionOS · Android · Flutter · React Native · Rust · Node.js · Python · Unity · Unity (WebGL)
서버 API	node.js · Golang · Ruby · Java/Kotlin · Python · Rust · Php (커뮤니티)
UI 구성 요소	반응 · Android Compose · Swiftui
에이전트 프레임 워크	python · node.js · 놀이터
서비스	LiveKit Server · egress · Ingress · SIP
자원	문서 · 예제 앱 · 클라우드 · 자조 주최 · CLI