amazon kinesis client

Perpustakaan Klien Amazon Kinesis untuk Java

Perpustakaan Klien Amazon Kinesis (KCL) untuk Java memungkinkan pengembang Java untuk dengan mudah mengkonsumsi dan memproses data dari aliran data Amazon Kinesis.

• Halaman Produk Streaming Data Kinesis
• Amazon Re: Forum Posting: Kinesis
• Javadoc
• FAQ
• Panduan Pengembang - Perpustakaan Klien Kinesis
• KCL Github Documentation (folder)
• Masalah
• Memberikan umpan balik

Fitur

• Skalabilitas: KCL memungkinkan aplikasi untuk skala secara dinamis dengan mendistribusikan beban pemrosesan di beberapa pekerja. Anda dapat mengukur aplikasi Anda masuk atau keluar, secara manual atau dengan penskalaan otomatis, tanpa khawatir tentang redistribusi beban.
• Load Balancing: KCL secara otomatis menyeimbangkan beban pemrosesan di seluruh pekerja yang tersedia, menghasilkan distribusi pekerjaan yang merata di seluruh pekerja.
• CHECKPOINTING: KCL mengelola pos pemeriksaan catatan yang diproses, memungkinkan aplikasi untuk melanjutkan pemrosesan dari posisi yang diproses terakhir mereka.
• Toleransi kesalahan: KCL menyediakan mekanisme toleransi kesalahan bawaan, memastikan bahwa pemrosesan data berlanjut bahkan jika pekerja individu gagal. KCL juga menyediakan pengiriman AT-LOVE-ONCE.
• Menangani Perubahan Level Aliran: KCL beradaptasi dengan perpecahan dan penggabungan shard yang mungkin terjadi karena perubahan volume data. Ini mempertahankan pemesanan dengan memastikan bahwa pecahan anak diproses hanya setelah beling orang tua mereka selesai dan dicentang.
• Pemantauan: KCL terintegrasi dengan Amazon CloudWatch untuk pemantauan tingkat konsumen.
• Dukungan multi-bahasa: KCL secara asli mendukung Java dan memungkinkan beberapa bahasa pemrograman non-java melalui multilangdaemon.

Memulai

1. Daftar AWS - Sebelum Anda mulai, Anda memerlukan akun AWS. Untuk informasi lebih lanjut tentang membuat akun AWS dan mengambil kredensial AWS Anda, lihat akun AWS dan kredensial di AWS SDK untuk Panduan Pengembang Java.
2. Daftar untuk Amazon Kinesis - Pergi ke konsol Amazon Kinesis untuk mendaftar untuk layanan ini dan membuat aliran Amazon Kinesis. Untuk informasi lebih lanjut, lihat Buat Amazon Kinesis Stream di panduan pengembang Amazon Kinesis.
3. Persyaratan Minimum - Untuk menggunakan Perpustakaan Klien Amazon Kinesis, Anda akan memerlukan Java 1.8+ . Untuk informasi lebih lanjut tentang persyaratan Perpustakaan Klien Amazon Kinesis, lihat sebelum Anda mulai di panduan pengembang Amazon Kinesis.
4. Menggunakan Perpustakaan Klien Amazon Kinesis - Cara terbaik untuk terbiasa dengan Perpustakaan Klien Amazon Kinesis adalah dengan membaca PERPUSTAKAAN KINCIN KINESIS di panduan pengembang Amazon Kinesis Streams. Untuk informasi lebih lanjut tentang konsep inti KCL, silakan merujuk ke halaman [KCL Concepts] [Kinesis-Client-Library-Consepss].

Membangun dari sumber

Setelah Anda mengunduh kode dari GitHub, Anda dapat membangunnya menggunakan Maven. Untuk menonaktifkan penandatanganan GPG di Build, gunakan perintah ini: mvn clean install -Dgpg.skip=true . Catatan: Perintah ini tidak menjalankan tes integrasi.

Untuk menonaktifkan tes unit yang berjalan di dalam build, tambahkan properti -Dskip.ut=true .

Menjalankan tes integrasi

Perhatikan bahwa menjalankan tes integrasi menciptakan sumber daya AWS. Tes integrasi membutuhkan kredensial AWS yang valid. Ini akan mencari profil AWS default yang ditentukan dalam .aws/credentials lokal Anda. Untuk menjalankan semua tes integrasi: mvn verify -DskipITs=false . Untuk menjalankan satu tes integrasi, tentukan kelas uji integrasi: mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify secara opsional, Anda dapat memberikan nama pengguna/peran IAM untuk menjalankan tes dengan string menggunakan perintah ini: mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify .

Integrasi dengan Perpustakaan Produser Kinesis

Untuk pengembang sisi produser yang menggunakan Kinesis Producer Library (KPL) , KCL terintegrasi tanpa upaya tambahan. Ketika KCL mengambil catatan Amazon Kinesis agregat yang terdiri dari beberapa catatan pengguna KPL, itu akan secara otomatis memohon KPL untuk mengekstrak catatan pengguna individual sebelum mengembalikannya ke pengguna.

Dukungan Amazon KCl untuk bahasa lain

Untuk memudahkan pengembang untuk menulis prosesor rekaman dalam bahasa lain, kami telah mengimplementasikan daemon berbasis Java, yang disebut multilangdaemon yang melakukan semua pengangkatan berat. Pendekatan kami memiliki daemon menelurkan sub-proses, yang pada gilirannya menjalankan prosesor rekaman, yang dapat ditulis dalam bahasa apa pun. Proses multilangdaemon dan sub-proses prosesor catatan berkomunikasi satu sama lain di atas Stdin dan Stdout menggunakan protokol yang ditentukan. Akan ada korespondensi satu ke satu di antara prosesor rekaman, proses anak, dan pecahan. Untuk pengembang Python secara khusus, kami telah mengabstraksi detail implementasi ini dan mengekspos antarmuka yang memungkinkan Anda untuk fokus pada penulisan logika pemrosesan rekaman di Python. Pendekatan ini memungkinkan KCL menjadi agnostik bahasa, sambil memberikan fitur yang identik dan model pemrosesan paralel yang serupa di semua bahasa.

Menggunakan KCL

Cara yang disarankan untuk menggunakan KCL untuk Java adalah dengan mengkonsumsinya dari Maven.

Versi 3.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

Versi 2.x

Cabang Pelacakan Versi 2.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

Versi 1.x

Cabang Pelacakan Versi 1.x

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

Penting Kami sarankan menggunakan versi KCL terbaru untuk peningkatan kinerja dan dukungan.

Catatan Rilis

Versi KCL	Changelog
3.x	master/changelog.md
2.x	v2.x/changelog.md
1.x	v1.x/changelog.md

Pemberitahuan

Upgrade yang disarankan untuk semua pengguna Klien Kinesis Amazon 1.x

Kami merekomendasikan pelanggan untuk bermigrasi ke 1.14.1 atau lebih baru untuk menghindari bug yang diketahui dalam versi 1.14.0

Upgrade yang disarankan untuk semua pengguna klien 2.x Amazon Kinesis

Sangat disarankan untuk pengguna versi 2.0 dari klien Amazon Kinesis untuk meningkatkan ke versi 2.0.3 atau lebih baru. Bug telah diidentifikasi dalam versi sebelum 2.0.3 yang dapat menyebabkan catatan dikirim ke prosesor catatan yang salah. **

Memberikan umpan balik

Bantu kami meningkatkan Perpustakaan Klien Kinesis! Keterlibatan Anda sangat penting untuk meningkatkan Perpustakaan Klien Kinesis. Kami mengundang Anda untuk bergabung dengan komunitas kami dan berkontribusi dengan cara -cara berikut:

• Pelaporan Masalah: Ini adalah metode komunikasi yang kami sukai. Gunakan saluran ini untuk melaporkan bug, menyarankan perbaikan, atau mengajukan pertanyaan.
• Permintaan fitur: Bagikan ide Anda untuk fitur baru atau pilih proposal yang ada di halaman masalah kami. Ini membantu kami memprioritaskan upaya pembangunan.
• Berpartisipasi dalam diskusi: terlibat dengan pengguna lain dan tim kami di forum diskusi kami.
• Kirim Permintaan Tarik: Jika Anda telah mengembangkan perbaikan atau peningkatan, kami menyambut kontribusi kode Anda.

Dengan berpartisipasi melalui saluran -saluran ini, Anda memainkan peran penting dalam membentuk masa depan Perpustakaan Klien Kinesis. Kami menghargai masukan Anda dan berharap dapat berkolaborasi dengan Anda!