amazon kinesis client

Amazon Kinesis Client Library für Java

Mit der Amazon Kinesis Client Library (KCL) für Java können Java -Entwickler Daten von Amazon Kinesis -Datenströmen problemlos konsumieren und verarbeiten.

• Kinesis Data Streams Produktseite
• Amazon Re: Post Forum: Kinesis
• Javadoc
• FAQ
• Entwicklerhandbuch - Kinesis Client Library
• KCL GitHub -Dokumentation (Ordner)
• Probleme
• Feedback geben

Merkmale

• Skalierbarkeit: KCL ermöglicht die dynamischen Skalierung von Anwendungen, indem die Verarbeitungslast über mehrere Arbeitnehmer hinweg verteilt wird. Sie können Ihre Anwendung manuell oder mit automatischem Skalieren skalieren, ohne sich um die Lastumverteilung zu sorgen.
• Lastausgleich: KCL gleicht die Verarbeitungslast automatisch über verfügbare Arbeitnehmer hinweg aus, was zu einer gleichmäßigen Verteilung der Arbeiten zwischen den Arbeitnehmern führt.
• Checkpointing: KCL verwaltet das CheckPointing von verarbeiteten Datensätzen und ermöglicht die Wiederaufnahme der Verarbeitung von ihrer letzten erfolgreich verarbeiteten Position.
• Fehlertoleranz: KCL stellt integrierte Fehlertoleranzmechanismen bereit, um sicherzustellen, dass die Datenverarbeitung auch dann fortgesetzt wird, wenn einzelne Arbeitnehmer ausfallen. KCL bietet auch die Lieferung von mindestens meist.
• Änderungen auf Stream-Ebene: KCL passt sich an Shard-Spaltungen und -verschleppungen an, die aufgrund von Änderungen des Datenvolumens auftreten können. Es wird die Bestellung behauptet, indem sichergestellt wird, dass Kinderschärfen erst nach Abschluss ihres übergeordneten Shards verarbeitet werden.
• Überwachung: KCL integriert sich in Amazon Cloudwatch für die Überwachung auf Verbraucherebene.
• Multisprachiger Unterstützung: KCL unterstützt Java nativ und ermöglicht mehrere Programmiersprachen nicht-Java-Programmiers durch Multilangdaemon.

Erste Schritte

1. Melden Sie sich für AWS an - Bevor Sie beginnen, benötigen Sie ein AWS -Konto. Weitere Informationen zum Erstellen eines AWS -Kontos und zum Abrufen Ihrer AWS -Anmeldeinformationen finden Sie unter AWS -Konto und Anmeldeinformationen im AWS SDK für Java Developer Guide.
2. Melden Sie sich für Amazon Kinesis an - Gehen Sie zur Amazon Kinesis -Konsole, um sich für den Dienst anzumelden und einen Amazon Kinesis -Stream zu erstellen. Weitere Informationen finden Sie unter Erstellen eines Amazon Kinesis -Streams im Amazon Kinesis Developer Guide.
3. Mindestanforderungen - Um die Amazon Kinesis Client Library zu verwenden, benötigen Sie Java 1.8+ . Weitere Informationen zu den Anforderungen an die Kundenbibliothek von Amazon Kinesis finden Sie unter Bevor Sie im Amazon Kinesis Developer Guide beginnen.
4. Verwenden der Amazon Kinesis -Client -Bibliothek - Der beste Weg, um mit der Amazon Kinesis Client Library vertraut zu sein, besteht darin, die Kinesis -Client -Bibliothek im Amazon Kinesis Data Streams Development -Handbuch zu lesen. Weitere Informationen zu KernkCL-Konzepten finden Sie auf der Seite [KCL-Konzepte] [Kinesis-Client-Library-Konzepte].

Gebäude aus der Quelle

Nachdem Sie den Code von GitHub heruntergeladen haben, können Sie ihn mit Maven erstellen. Verwenden Sie diesen Befehl, um die GPG -Unterzeichnung im Build zu deaktivieren: mvn clean install -Dgpg.skip=true . Hinweis: In diesem Befehl werden Integrationstests ausgeführt.

Fügen Sie die Eigenschaft -Dskip.ut=true hinzu, um laufende Unit -Tests im Build zu deaktivieren.

Ausführen von Integrationstests

Beachten Sie, dass die Ausführung von Integrationstests AWS -Ressourcen erzeugt. Integrationstests erfordern gültige AWS -Anmeldeinformationen. Dies sucht nach einem Standard -AWS -Profil, das in Ihren lokalen .aws/credentials angegeben ist. So führen Sie alle Integrationstests aus: mvn verify -DskipITs=false . Geben Sie die Integrationstestklasse an: mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify optional können Sie den Namen eines IAM -Benutzers angeben, um Tests als Zeichenfolge mit diesem Befehl auszuführen. mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify .

Integration in die Kinesis -Produzentenbibliothek

Für Produzenten-Seiten-Entwickler, die die Kinesis Producer Library (KPL) verwenden, integriert sich die KCL ohne zusätzliche Anstrengungen. Wenn der KCL einen aggregierten Amazon Kinesis -Datensatz abruft, der aus mehreren KPL -Benutzerdatensätzen besteht, werden die KPL automatisch aufgerufen, um die einzelnen Benutzerdatensätze zu extrahieren, bevor sie an den Benutzer zurückgegeben werden.

Amazon KCL -Unterstützung für andere Sprachen

Um es Entwicklern zu erleichtern, Datensatzprozessoren in anderen Sprachen zu schreiben, haben wir einen Java -basierten Daemon implementiert, der als Multilangdaemon bezeichnet wird und das ganze schwere Heben macht. In unserem Ansatz wird der Daemon einen Unterprozess hervorbringen, der wiederum den Rekordprozessor ausführt, der in jeder Sprache geschrieben werden kann. Der Multilangdaemon-Prozess und der Subprozess des Datensatzprozessors kommunizieren miteinander über Stdin und Stdout mit einem definierten Protokoll. Es wird eine eins zu eins -Korrespondenz zwischen Rekordprozessoren, Kinderprozessen und Scherben geben. Für Python -Entwickler haben wir diese Implementierungsdetails abstrahiert und eine Schnittstelle enthüllt, mit der Sie sich auf das Schreiben von Datensatzverarbeitungslogik in Python konzentrieren können. Dieser Ansatz ermöglicht es KCL, agnostisch Sprache zu sein und gleichzeitig identische Merkmale und ein ähnliches paralleles Verarbeitungsmodell in allen Sprachen bereitzustellen.

Verwenden der KCL

Die empfohlene Möglichkeit, die KCL für Java zu verwenden, besteht darin, sie von Maven zu konsumieren.

Version 3.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

Version 2.x

Version 2.x Tracking Branch

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

Version 1.x

Version 1.x Tracking Branch

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

Wichtig Wir empfehlen, die neueste KCL -Version für eine verbesserte Leistung und Unterstützung zu verwenden.

Versionshinweise

KCL -Version	Changelog
3.x	Master/Changelog.md
2.x	v2.x/changelog.md
1.x	v1.x/changelog.md

Mitteilungen

Empfohlenes Upgrade für alle Benutzer des 1.x Amazon Kinesis -Clients

Wir empfehlen Kunden, auf 1.14.1 oder neuer zu migrieren, um bekannte Fehler in der Version 1.14.0 zu vermeiden

Empfohlenes Upgrade für alle Benutzer des 2.x Amazon Kinesis -Clients

Für Benutzer von Version 2.0 des Amazon Kinesis -Clients ist es dringend empfohlen, auf Version 2.0.3 oder höher zu upgraden. Ein Fehler wurde in Versionen vor 2.0.3 identifiziert, die dazu führen können, dass Datensätze an den falschen Datensatzprozessor geliefert werden. **

Feedback geben

Helfen Sie uns, die Kinesis -Client -Bibliothek zu verbessern! Ihre Beteiligung ist entscheidend für die Verbesserung der Kinesis -Client -Bibliothek. Wir laden Sie ein, sich unserer Community anzuschließen und auf folgende Weise beizutragen:

• Problemberichterstattung: Dies ist unsere bevorzugte Kommunikationsmethode. Verwenden Sie diesen Kanal, um Fehler zu melden, Verbesserungen vorzuschlagen oder Fragen zu stellen.
• Feature -Anfragen: Teilen Sie Ihre Ideen für neue Funktionen oder stimmen Sie für vorhandene Vorschläge auf unserer Seite mit Ausgaben ab. Dies hilft uns, die Entwicklungsbemühungen zu priorisieren.
• Nehmen Sie an Diskussionen teil: Vergehen mit anderen Nutzern und unserem Team in unseren Diskussionsforen.
• Pull -Anfragen einreichen: Wenn Sie eine Lösung oder Verbesserung entwickelt haben, begrüßen wir Ihre Codebeiträge.

Durch die Teilnahme über diese Kanäle spielen Sie eine wichtige Rolle bei der Gestaltung der Zukunft der Kinesis -Client -Bibliothek. Wir schätzen Ihre Eingabe und freuen uns auf die Zusammenarbeit mit Ihnen!