amazon kinesis client

مكتبة عميل Amazon Kinesis لـ Java

تتيح مكتبة عميل Amazon Kinesis (KCL) لـ JAVA مطوري Java من استهلاك البيانات ومعالجتها بسهولة من تدفقات بيانات Amazon Kinesis.

• تدفق بيانات Kinesis صفحة المنتج
• Amazon Re: Post Forum: Kinesis
• جافادوك
• التعليمات
• دليل المطور - مكتبة عميل Kinesis
• وثائق KCL Github (مجلد)
• مشاكل
• إعطاء ردود الفعل

سمات

• قابلية التوسع: تتيح KCL التطبيقات من التوسع ديناميكيًا عن طريق توزيع حمل المعالجة عبر العديد من العمال. يمكنك توسيع نطاق تطبيقك داخل أو خارج ، يدويًا أو مع التقسيم التلقائي ، دون القلق بشأن إعادة توزيع الحمل.
• موازنة التحميل: تقوم KCL تلقائيًا بموازنة عبء المعالجة عبر العمال المتاحين ، مما يؤدي إلى توزيع متساوٍ للعمل عبر العمال.
• Checkpointing: KCL تدير تحديد السجلات المصنعة ، وتمكين التطبيقات من استئناف المعالجة من آخر موقع معالجته بشكل ناجح.
• التسامح مع الأعطال: يوفر KCL آليات تحمل خطأ مدمجة ، مع التأكد من استمرار معالجة البيانات حتى لو فشل العمال الأفراد. يوفر KCL أيضًا التسليم الخفيف.
• معالجة التغييرات على مستوى الدفق: يتكيف KCL مع تقسيم Shard ودمجها التي قد تحدث بسبب التغيرات في حجم البيانات. إنه يحافظ على الطلب من خلال التأكد من معالجة شظايا الأطفال فقط بعد اكتمال وقوة الوالدين ونقاط التفتيش.
• المراقبة: تتكامل KCL مع Amazon CloudWatch للمراقبة على مستوى المستهلك.
• الدعم متعدد اللغات: يدعم KCL جافا ويمكّن لغات البرمجة المتعددة غير Java من خلال Multilangdaemon.

ابدء

1. اشترك في AWS - قبل البدء ، تحتاج إلى حساب AWS. لمزيد من المعلومات حول إنشاء حساب AWS واسترداد بيانات اعتماد AWS الخاصة بك ، راجع حساب AWS وبيانات الاعتماد في دليل AWS SDK لمطور Java.
2. اشترك في Amazon Kinesis - انتقل إلى وحدة التحكم Amazon Kinesis للتسجيل في الخدمة وإنشاء دفق Amazon Kinesis. لمزيد من المعلومات ، راجع إنشاء دفق Amazon Kinesis في دليل مطور Amazon Kinesis.
3. الحد الأدنى من المتطلبات - لاستخدام مكتبة عميل Amazon Kinesis ، ستحتاج إلى Java 1.8+ . لمزيد من المعلومات حول متطلبات مكتبة عميل Amazon Kinesis ، انظر قبل أن تبدأ في دليل مطور Amazon Kinesis.
4. باستخدام مكتبة عميل Amazon Kinesis - فإن أفضل طريقة للتعرف على مكتبة عميل Amazon Kinesis هي قراءة مكتبة عميل Kinesis في دليل مطور Deforms Deforms Amazon Kinesis. لمزيد من المعلومات حول مفاهيم KCL الأساسية ، يرجى الرجوع إلى صفحة [KCL Concepts] [Kinesis-Client-Library-Counsions].

بناء من المصدر

بعد تنزيل الرمز من GitHub ، يمكنك بنائه باستخدام Maven. لتعطيل توقيع GPG في البناء ، استخدم هذا الأمر: mvn clean install -Dgpg.skip=true . ملاحظة: لا يقوم هذا الأمر بتشغيل اختبارات التكامل.

لتعطيل اختبارات وحدة التشغيل في البناء ، أضف خاصية -Dskip.ut=true .

تشغيل اختبارات التكامل

لاحظ أن اختبارات التكامل الجارية يخلق موارد AWS. تتطلب اختبارات التكامل بيانات اعتماد AWS صالحة. سيبحث هذا عن ملف تعريف AWS الافتراضي المحدد في .aws/credentials المحلية. لتشغيل جميع اختبارات التكامل: mvn verify -DskipITs=false . لتشغيل اختبارات تكامل واحدة ، حدد فئة اختبار التكامل: mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify اختياريًا ، يمكنك توفير اسم مستخدم/دور IAM لتشغيل الاختبارات كسلسلة باستخدام هذا الأمر: mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify .

التكامل مع مكتبة منتج Kinesis

للمطورين من جانب المنتجين الذين يستخدمون مكتبة منتج Kinesis (KPL) ، يتكامل KCL دون جهد إضافي. عندما يسترجع KCL سجل Amazon Kinesis المجمعة يتكون من سجلات مستخدم KPL متعددة ، فإنه سوف يستدعي KPL تلقائيًا لاستخراج سجلات المستخدم الفردية قبل إعادتها إلى المستخدم.

دعم Amazon KCL للغات الأخرى

لتسهيل على المطورين كتابة معالجات السجلات بلغات أخرى ، قمنا بتنفيذ خفي قائم على Java ، يسمى Multilangdaemon الذي يقوم بكل الرفع الثقيل. إن مقاربتنا قد تفرخ الخفي عملية فرعية ، والتي بدورها تدير معالج التسجيلات ، والتي يمكن كتابتها بأي لغة. تتواصل عملية Multilangdaemon وعملية السجل الفرعية مع بعضها البعض عبر stdin و stdout باستخدام بروتوكول محدد. ستكون هناك مراسلات واحدة إلى مراسلات واحدة بين معالجات السجلات ، والعمليات الفرعية ، والظهور. بالنسبة لمطوري Python على وجه التحديد ، قمنا بتجريد تفاصيل التنفيذ هذه بعيدًا وفضح واجهة تمكنك من التركيز على كتابة منطق معالجة السجلات في Python. يمكّن هذا النهج KCL من أن يكون اللغة غير ملائمة ، مع توفير ميزات متطابقة ونموذج معالجة متوازي مماثل في جميع اللغات.

باستخدام KCL

الطريقة الموصى بها لاستخدام KCL لـ Java هي استهلاكها من Maven.

الإصدار 3.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

الإصدار 2.x

الإصدار 2.x فرع تتبع

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

الإصدار 1.x

الإصدار 1.x فرع تتبع

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

من المهم أن نوصي باستخدام أحدث إصدار KCL لتحسين الأداء والدعم.

ملاحظات الإصدار

نسخة KCL	Changelog
3.x	Master/Changelog.MD
2.x	v2.x/changelog.md
1.x	v1.x/changelog.md

إشعارات

الترقية الموصى بها لجميع مستخدمي عميل 1.X Amazon Kinesis

نوصي العملاء بالترحيل إلى 1.14.1 أو الأحدث لتجنب الأخطاء المعروفة في الإصدار 1.14.0

ترقية موصى بها لجميع مستخدمي عميل 2.x Amazon Kinesis

ينصح بشدة لمستخدمي الإصدار 2.0 من عميل Amazon Kinesis للترقية إلى الإصدار 2.0.3 أو لاحقًا. تم تحديد خطأ في الإصدارات قبل 2.0.3 والتي يمكن أن تتسبب في تسليم السجلات إلى معالج السجل الخاطئ. **

إعطاء ردود الفعل

ساعدنا في تحسين مكتبة عميل Kinesis! مشاركتك أمر بالغ الأهمية لتعزيز مكتبة عميل Kinesis. ندعوك للانضمام إلى مجتمعنا والمساهمة بالطرق التالية:

• الإبلاغ عن القضية: هذه هي طريقة الاتصال المفضلة لدينا. استخدم هذه القناة للإبلاغ عن الأخطاء ، أو اقتراح تحسينات ، أو طرح الأسئلة.
• طلبات الميزات: شارك أفكارك للحصول على ميزات جديدة أو التصويت على المقترحات الحالية في صفحة القضايا الخاصة بنا. هذا يساعدنا على إعطاء أولويات جهود التنمية.
• المشاركة في المناقشات: التواصل مع المستخدمين الآخرين وفريقنا في منتديات المناقشة لدينا.
• إرسال طلبات السحب: إذا قمت بتطوير إصلاح أو تحسين ، فإننا نرحب بإسهامات التعليمات البرمجية الخاصة بك.

من خلال المشاركة من خلال هذه القنوات ، تلعب دورًا حيويًا في تشكيل مستقبل مكتبة عميل Kinesis. نحن نقدر مدخلاتك ونتطلع إلى التعاون معك!