openllmetry js
0.11.4
LLM 응용 프로그램에 대한 오픈 소스 관찰 가능성
? 새로운 : 우리의 시맨틱 컨벤션은 이제 OpenTelemetry의 일부입니다! 토론에 참여하고 LLM 관찰 가능성의 미래를 형성하도록 도와줍니다.
OpenLlMetry-JS는 OpenTeLemetry 위에 구축 된 확장 세트로 LLM 응용 프로그램에 대한 완벽한 관찰 가능성을 제공합니다. 후드 아래에서 OpenTeLemetry를 사용하기 때문에 기존 관측 성 솔루션 (Datadog, Honeycomb 및 기타)에 연결할 수 있습니다.
Apache 2.0 라이센스에 따라 Traceloop에 의해 구축 및 유지 관리됩니다.
이 repo에는 LLM 제공 업체 및 벡터 DBS를위한 표준 OpenTelemetry 기기와 OpenlLMetry-JS로 쉽게 시작할 수있는 Traceloop SDK가 포함되어 있지만 여전히 Observability Stack에 연결할 수있는 표준 OpenTelemetry 데이터를 출력합니다. 이미 OpenTelemetry가 계측 된 경우 계측기를 직접 추가 할 수 있습니다.
시작하는 가장 쉬운 방법은 SDK를 사용하는 것입니다. 완전한 가이드를 보려면 문서로 이동하십시오.
SDK 설치 :
npm install --save @traceloop/node-server-sdk그런 다음 코드를 계측하기 시작하려면 코드 에이 두 줄을 추가하십시오.
import * as traceloop from "@traceloop/node-server-sdk" ;
traceloop . initialize ( ) ; LLM 모듈을 가져 오기 전에 SDK를 import 오십시오.
그게 다야. 당신은 이제 OpenLlMetry-JS로 코드를 추적하고 있습니다! 로컬로 실행하는 경우 배치 전송을 비활성화 할 수 있으므로 즉시 흔적을 볼 수 있습니다.
traceloop . initialize ( { disableBatch : true } ) ;이제 흔적을 내보내는 곳을 결정해야합니다.
각 문서에 연결에 대한 지침은 문서를 참조하십시오.
OpenLlMetry -JS는 이미 악기를 악기로 계측 할 수 있으므로 DB, API 호출 등과 같은 것들이 있습니다. 또한 OpenAi 또는 Anthropic에 대한 호출과 같은 기기 또는 Pinecone, Chroma 또는 Weaviate와 같은 벡터 DB와 같은 내용의 정의 확장 세트를 만들었습니다.
크든 작든, 우리는 기부금을 좋아합니다.
어디서 시작 해야할지 모르겠습니까? 당신은 할 수 있습니다 :
