sample connector for bedrock

Konektor sampel untuk batuan dasar

Ini adalah alat penerusan API Bedrock (dan Alat AI generatif lainnya dari AWS) yang dapat mengeluarkan kunci virtual, obrolan log, dan mengelola biaya.

Ini kompatibel dengan klien openai mana pun yang dapat mendefinisikan kunci host dan API.

Referensi cepat

Awal yang cepat

Penempatan cepat

Penyedia

Gambar Docker: Dockerhub, ECR Publik

Gambar Docker untuk Lambda: Dockerhub, ECR Publik

Fitur utama

Model dan platform yang didukung

• Mendukung semua model bahasa besar saat ini dan masa depan dari batuan dasar (didukung melalui batuan dasar).
• Mendukung model yang digunakan melalui Sagemaker LMI (model parsial).
• Mendukung bentuk model khusus lainnya, termasuk ollama, dll.
• Lebih banyak aplikasi alur kerja AI, seperti pencarian internet, pelaksana perintah AWS, dll.

Kunci API dan Manajemen Biaya

• Buat kunci API. Kunci dapat dibuat untuk pengguna dan administrator reguler. Pengguna biasa dapat mengobrol, sementara administrator dapat mengelola kunci dan biaya API.
• Catat biaya setiap panggilan dan gunakan sebagai dasar untuk pengendalian biaya.
• Kontrol biaya. Anda dapat menetapkan kuota bulanan dan saldo akun untuk setiap kunci API. Ketika kuota bulanan atau saldo akun tidak mencukupi, itu tidak dapat digunakan.
• Hitung keseluruhan biaya.

Penting

Perhitungan biaya proyek ini tidak dapat digunakan sebagai dasar untuk penagihan AWS. Silakan merujuk ke tagihan AWS untuk pengeluaran aktual. Silakan merujuk ke situs web resmi untuk harga dasar.

Manajemen model

Model dan parameternya dapat didefinisikan dari backend.

Setelah didefinisikan, model dapat terikat pada grup atau kunci API.

Changelogs

0.0.16

1. Menambahkan opsi konfigurasi baru untuk Bedrock-Converse: Maxtokens

0.0.15

1. Menambahkan model haiku 3.5 dalam mode NODB.

2. Menghapus beberapa output log yang tidak perlu.

Penafian

Konektor ini adalah perangkat lunak open-source yang bertujuan menyediakan layanan proxy untuk menggunakan layanan batuan dasar. Kami melakukan upaya terbaik kami untuk memastikan keamanan dan legalitas perangkat lunak, tetapi kami tidak bertanggung jawab atas perilaku pengguna.

Konektor ini dimaksudkan semata -mata untuk tujuan pembelajaran dan penelitian pribadi. Pengguna tidak boleh menggunakannya untuk kegiatan ilegal apa pun, termasuk tetapi tidak terbatas pada peretasan, menyebarkan informasi ilegal, dll. Jika tidak, pengguna harus menanggung tanggung jawab hukum yang sesuai sendiri. Pengguna bertanggung jawab untuk mematuhi undang-undang dan peraturan di yurisdiksi masing-masing dan tidak akan menggunakan konektor untuk tujuan ilegal atau tidak patuh. Pengembang dan pengelola perangkat lunak ini tidak akan bertanggung jawab atas setiap perselisihan, kerugian, atau kewajiban hukum yang timbul dari penggunaan konektor ini.

Kami berhak untuk memodifikasi atau menghentikan kode konektor kapan saja tanpa pemberitahuan lebih lanjut. Pengguna diharapkan untuk memahami dan mematuhi hukum dan peraturan setempat yang relevan.

Jika Anda memiliki pertanyaan tentang penafian ini, jangan ragu untuk menghubungi kami melalui saluran open-source.

Keamanan

Lihat berkontribusi untuk informasi lebih lanjut.

Lisensi

Perpustakaan ini dilisensikan di bawah lisensi MIT-0. Lihat file lisensi.