sample connector for bedrock

기반암의 샘플 커넥터

이것은 가상 키, 로그 채팅 및 비용을 관리 할 수있는 기반암 (및 AWS의 기타 생성 AI 도구) API 전달 도구입니다.

호스트 및 API 키를 정의 할 수있는 OpenAI 클라이언트와 호환됩니다.

빠른 참조

빠른 시작

빠른 배포

제공자

Docker Image : DockerHub, Public ECR

Lambda의 Docker Image : DockerHub, Public ECR

주요 기능

지원되는 모델 및 플랫폼

• Bedrock (Bedrock-Converse를 통해 지원)의 현재 및 미래의 대형 언어 모델을 지원합니다.
• Sagemaker LMI (부분 모델)를 통해 배포 된 모델을 지원합니다.
• 올라마 등을 포함한 다른 형태의 사용자 정의 모델을 지원합니다.
• 인터넷 검색, AWS 명령 집행자 등과 같은 AI 워크 플로 응용 프로그램

API 키 및 비용 관리

• API 키를 만듭니다. 일반 사용자 및 관리자를 위해 키를 만들 수 있습니다. 일반 사용자는 채팅 할 수 있지만 관리자는 API 키 및 비용을 관리 할 수 ​​있습니다.
• 각 통화 비용을 기록하고 비용 관리의 기초로 사용하십시오.
• 비용 관리. 각 API 키에 대해 월별 할당량 및 계정 잔액을 설정할 수 있습니다. 월별 할당량 또는 계정 잔액이 충분하지 않은 경우 사용할 수 없습니다.
• 전체 비용을 계산하십시오.

중요한

이 프로젝트의 비용 계산은 AWS 청구의 기초로 사용할 수 없습니다. 실제 비용은 AWS 청구서를 참조하십시오. 기반 가격은 공식 웹 사이트를 참조하십시오.

모델 관리

모델과 그 매개 변수는 백엔드에서 정의 할 수 있습니다.

정의되면 모델은 그룹 또는 API 키에 결합 할 수 있습니다.

교체 로그

0.0.16

1. Bedrock-Converse : Maxtokens에 새 구성 옵션이 추가되었습니다

0.0.15

1. NODB 모드에 Haiku 3.5 모델을 추가했습니다.

2. 불필요한 로그 출력을 제거했습니다.

부인 성명

이 커넥터는 기반암 서비스 사용을위한 프록시 서비스를 제공하기위한 오픈 소스 소프트웨어입니다. 우리는 소프트웨어의 보안과 합법성을 보장하기 위해 최선을 다하지만 사용자의 행동에 대해 책임을지지 않습니다.

커넥터는 개인 학습 및 연구 목적으로 만 사용됩니다. 사용자는 해킹, 불법 정보 확산 등을 포함하여 불법 활동에 사용해서는 안됩니다. 그렇지 않으면 사용자는 해당 법적 책임 자체를 부담해야합니다. 사용자는 해당 관할 구역에서 법률 및 규정을 준수 할 책임이 있으며 불법적이거나 비준수 목적으로 커넥터를 사용해서는 안됩니다. 이 소프트웨어의 개발자와 관리자는이 커넥터의 사용으로 인해 발생하는 분쟁, 손실 또는 법적 부채에 대해 책임을지지 않습니다.

당사는 추가 통지없이 언제든지 커넥터의 코드를 수정하거나 종료 할 권리를 보유합니다. 사용자는 관련 현지 법률 및 규정을 이해하고 준수해야합니다.

이 면책 조항에 관한 궁금한 점이 있으면 오픈 소스 채널을 통해 저희에게 연락하십시오.

보안

자세한 내용은 기여를 참조하십시오.

특허

이 라이브러리는 MIT-0 라이센스에 따라 라이센스가 부여됩니다. 라이센스 파일을 참조하십시오.