amazon kinesis client

Java的Amazon Kinesis客戶庫庫

Java的Amazon Kinesis客戶端庫（KCL）使Java開發人員能夠輕鬆地從Amazon Kinesis數據流中消耗和處理數據。

• Kinesis數據流產品頁面
• Amazon RE：郵政論壇：Kinesis
• Javadoc
• 常問問題
• 開發人員指南 - 運動端客戶庫
• KCL GitHub文檔（文件夾）
• 問題
• 給出反饋

特徵

• 可伸縮性： KCL可以通過在多個工人之間分配處理負載來動態擴展應用程序。您可以在不擔心重新分配的情況下，手動或自動縮放時將應用程序擴展或使用自動縮放。
• 負載平衡： KCL會自動平衡可用工人之間的處理負載，從而導致跨工人的工作均勻分佈。
• 檢查點： KCL管理已處理的記錄的檢查點，使應用程序可以從其最後一次處理的位置恢復處理。
• 容忍度： KCL提供內置的容錯機制，即使單個工人失敗，數據處理仍在繼續。 KCL還提供了至上的一開始交付。
• 處理流級別的更改： KCL適應由於數據量變化而可能發生的碎片分割和合併。它通過確保只有在其父碎片完成並檢查其檢查站後才能處理子碎片來維持訂單。
• 監視： KCL與Amazon CloudWatch集成了用於消費者級別的監視。
• 多語言支持： KCL本地支持Java，並通過Multilangdaemon啟用多種非Java編程語言。

入門

1. 註冊AWS - 在開始之前，您需要一個AWS帳戶。有關創建AWS帳戶並檢索AWS憑據的更多信息，請參見Java開發人員指南的AWS帳戶和AWS SDK中的AWS帳戶和憑據。
2. 註冊Amazon Kinesis - 轉到Amazon Kinesis控制台註冊該服務並創建Amazon Kinesis流。有關更多信息，請參閱《亞馬遜運動開發人員指南》中的創建亞馬遜運動流。
3. 最低要求- 要使用Amazon Kinesis客戶端庫，您將需要Java 1.8+ 。有關Amazon Kinesis客戶庫需求的更多信息，請參見您在“ Amazon Kinesis開發人員指南”中開始之前。
4. 使用Amazon Kinesis客戶端庫- 熟悉Amazon Kinesis客戶端庫的最佳方法是閱讀使用Amazon Kinesis Data Sprines Developer指南中的Kinesis客戶端庫。有關Core KCL概念的更多信息，請參閱[KCL概念] [Kinesis-Client-Library-Concepts]頁面。

從來源建造

從Github下載代碼後，您可以使用Maven構建它。要在構建中禁用GPG簽名，請使用此命令： mvn clean install -Dgpg.skip=true 。注意：此命令不運行集成測試。

要在構建中禁用運行單元測試，請添加屬性-Dskip.ut=true 。

運行集成測試

請注意，運行集成測試創建AWS資源。集成測試需要有效的AWS憑據。這將尋找您本地.aws/credentials中指定的默認AWS配置文件。要運行所有集成測試： mvn verify -DskipITs=false 。要運行一個集成測試，請指定集成測試類： mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify ，您可以提供IAM用戶/角色的名稱，以使用此命令：使用此命令： mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify 。

與Kinesis生產者庫集成

對於使用Kinesis生產者庫（KPL）的生產者側開發人員，KCL無需付出額外的努力而集成。當KCL檢索由多個KPL用戶記錄組成的匯總的亞馬遜運動記錄時，它將自動調用KPL以提取單個用戶記錄，然後再將其返回給用戶。

亞馬遜KCL支持其他語言

為了使開發人員更容易用其他語言編寫記錄處理器，我們實施了一個基於Java的守護程序，稱為Multilangdaemon，可以完成所有繁重的舉重。我們的方法具有守護程序產生的子過程，進而運行記錄處理器，可以用任何語言編寫。 Multilangdaemon進程和記錄處理器子過程使用定義的協議通過STDIN和Stdout相互通信。記錄處理器，兒童過程和碎片之間將有一對一的對應關係。對於Python的開發人員，我們已經將這些實現詳細信息抽象了，並揭示了一個接口，使您能夠專注於Python中的記錄處理邏輯。這種方法使KCL成為語言不可知論，同時在所有語言中提供相同的功能和相似的並行處理模型。

使用KCL

建議將KCL用於Java的推薦方法是從Maven食用它。

版本3.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

2.x版本

版本2.x跟踪分支

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

版本1.x

版本1.x跟踪分支

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

重要的是我們建議使用最新的KCL版本來提高性能和支持。

發行說明

KCL版本	ChangElog
3.x	Master/ChangElog.md
2.x	v2.x/changelog.md
1.x	v1.x/changelog.md

注意

建議為1.x Amazon Kinesis客戶端的所有用戶升級

我們建議客戶遷移至1.14.1或更新，以避免1.14.0版中的已知錯誤

建議為2.x Amazon Kinesis客戶端的所有用戶升級

強烈建議使用Amazon Kinesis客戶端2.0版的用戶升級到2.0.3版或更高版本。在2.0.3之前的版本中已經確定了一個錯誤，這可能會導致記錄交付給錯誤的記錄處理器。**

給出反饋

幫助我們改善運動端客戶庫！您的參與對於增強運動端客戶庫至關重要。我們邀請您加入我們的社區，並通過以下方式做出貢獻：

• 問題報告：這是我們首選的交流方法。使用此渠道報告錯誤，建議改進或提出問題。
• 功能請求：分享您的新功能的想法或在我們的問題頁面上為現有建議投票。這有助於我們優先考慮開發工作。
• 參加討論：與其他用戶和我們的團隊互動，參加我們的討論論壇。
• 提交拉請請求：如果您已經開發了修復程序或改進，我們歡迎您的代碼貢獻。

通過通過這些渠道參與，您可以在塑造Kinesis客戶庫的未來中發揮至關重要的作用。我們重視您的意見，並期待與您合作！