amazon kinesis client

JavaのAmazon Kinesisクライアントライブラリ

JavaのAmazon Kinesisクライアントライブラリ（KCL）により、 Java開発者はAmazon Kinesisデータストリームから簡単にデータを消費して処理できます。

• Kinesis Data Streams製品ページ
• Amazon Re：ポストフォーラム：Kinesis
• Javadoc
• よくある質問
• 開発者ガイド-Kinesisクライアントライブラリ
• KCL Githubドキュメント（フォルダー）
• 問題
• フィードバックを与える

特徴

• スケーラビリティ： KCLは、複数の労働者に処理荷重を分散することにより、アプリケーションが動的にスケーリングできるようにします。負荷の再配布を心配することなく、手動で、または自動スケーリングでアプリケーションをスケーリングできます。
• 負荷分散： KCLは、利用可能な労働者間で処理荷重の自動バランスをとり、労働者全体で仕事が均等に分布します。
• チェックポイント： KCLは、処理されたレコードのチェックポイントを管理し、アプリケーションが最後の成功して処理された位置から処理を再開できるようにします。
• フォールトトレランス： KCLは組み込みの障害トレランスメカニズムを提供し、個々のワーカーが失敗した場合でもデータ処理が継続することを確認します。 KCLはまた、少なくともオンセの配信を提供します。
• ストリームレベルの変更の処理： KCLは、データボリュームの変化のために発生する可能性のあるシャードスプリットとマージに適応します。子の破片が完成してチェックポイントになった後にのみ、チャイルドシャードが処理されることを確認することにより、注文を維持します。
• 監視： KCLは、消費者レベルの監視のためにAmazon CloudWatchと統合されています。
• 多言語サポート： KCLはJavaをネイティブにサポートし、MultiLangdaemonを介して複数の非Javaプログラミング言語を有効にします。

はじめる

1. AWSにサインアップしてください- 開始する前に、AWSアカウントが必要です。 AWSアカウントの作成とAWSの資格情報の取得の詳細については、Java開発者ガイドのAWS SDKのAWSアカウントと資格情報を参照してください。
2. Amazon Kinesisにサインアップ- Amazon Kinesisコンソールにアクセスしてサービスにサインアップし、Amazon Kinesisストリームを作成します。詳細については、Amazon Kinesis Developer GuideのAmazon Kinesisストリームの作成を参照してください。
3. 最小要件- Amazon Kinesisクライアントライブラリを使用するには、 Java 1.8+が必要です。 Amazon Kinesisクライアントライブラリの要件の詳細については、Amazon Kinesis Developer Guideで開始する前に参照してください。
4. Amazon Kinesisクライアントライブラリを使用する- Amazon Kinesisクライアントライブラリに精通する最良の方法は、Amazon Kinesis Data Streams Developer GuideでKinesisクライアントライブラリを使用することです。 Core KCL Conceptsの詳細については、[KCL Concepts] [Kinesis-Client-Library Concencts]ページを参照してください。

ソースからの建物

Githubからコードをダウンロードした後、Mavenを使用して構築できます。ビルドでGPGの署名を無効にするには、このコマンドを使用してください： mvn clean install -Dgpg.skip=true 。注：このコマンドは統合テストを実行しません。

ビルドで実行されているユニットテストを無効にするには、プロパティ-Dskip.ut=trueを追加します。

統合テストの実行

統合テストを実行すると、AWSリソースが作成されることに注意してください。統合テストには、有効なAWS資格情報が必要です。これにより、ローカル.aws/credentialsで指定されたデフォルトのAWSプロファイルが探しられます。すべての統合テストを実行するには： mvn verify -DskipITs=false 。 1つの統合テストを実行するには、統合テストクラスを指定します。MVN mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify optionalでは、このコマンドを使用して文字列としてテストを実行するIAMユーザー/役割の名前を提供できます。 mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify 。

Kinesisプロデューサーライブラリとの統合

Kinesisプロデューサーライブラリ（KPL）を使用するプロデューサーサイド開発者の場合、KCLは追加の努力なしで統合します。 KCLが複数のKPLユーザーレコードで構成される集約されたAmazon Kinesisレコードを取得すると、CPLを自動的に呼び出して個々のユーザーレコードを抽出してからユーザーに返します。

Amazon KCL他の言語のサポート

開発者が他の言語でレコードプロセッサを作成しやすくするために、すべてのヘビーリフティングを行うMultilangdaemonと呼ばれるJavaベースのデーモンを実装しました。私たちのアプローチには、デーモンがサブプロセスを生み出しているため、任意の言語で記述できるレコードプロセッサが実行されます。 MultiLangdaemonプロセスとレコードプロセッササブプロセスは、定義されたプロトコルを使用してStdinとStdoutを介して互いに通信します。レコードプロセッサ、子供のプロセス、および破片の間に1対1の対応があります。特にPython開発者の場合、これらの実装の詳細を抽象化し、Pythonでレコード処理ロジックの作成に集中できるインターフェイスを公開しました。このアプローチにより、KCLは言語不可知論者になり、すべての言語で同一の機能と同様の並列処理モデルを提供します。

KCLを使用します

JavaにKCLを使用する推奨される方法は、Mavenからそれを消費することです。

バージョン3.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

バージョン2.x

バージョン2.x追跡ブランチ

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

バージョン1.x

バージョン1.x追跡ブランチ

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

重要なパフォーマンスとサポートを改善するために、最新のKCLバージョンを使用することをお勧めします。

ノートをリリースします

KCLバージョン	Changelog
3.x	Master/Changelog.md
2.x	v2.x/changelog.md
1.x	v1.x/changelog.md

通知

1.x Amazon Kinesisクライアントのすべてのユーザーに推奨アップグレード

1.14.0バージョンで既知のバグを避けるために、顧客は1.14.1以下に移行することをお勧めします

2.x Amazon Kinesisクライアントのすべてのユーザーに推奨アップグレード

Amazon Kinesisクライアントのバージョン2.0のユーザーがバージョン2.0.3以降にアップグレードすることを強くお勧めします。 2.0.3より前のバージョンでバグが特定されており、レコードが間違ったレコードプロセッサに配信される可能性があります。**

フィードバックを与える

Kinesisクライアントライブラリの改善を手伝ってください！ Kinesisクライアントライブラリを強化するには、あなたの関与が重要です。コミュニティに参加して、次の方法で貢献するように勧めます。

• 問題の報告：これは、私たちの好ましいコミュニケーション方法です。このチャネルを使用して、バグを報告したり、改善を提案したり、質問したりします。
• 機能リクエスト：新機能のアイデアを共有するか、問題ページで既存の提案に投票してください。これは、開発の取り組みを優先するのに役立ちます。
• ディスカッションに参加する：ディスカッションフォーラムで他のユーザーやチームと交流します。
• プルリクエストの送信：修正または改善を開発した場合は、コードの貢献を歓迎します。

これらのチャネルを通じて参加することで、Kinesisクライアントライブラリの将来を形作る上で重要な役割を果たします。私たちはあなたの意見を大切にし、あなたと協力することを楽しみにしています！