lushan

مرحبا بكم في لوشان

Tao Hui http://weibo.com/taohui3

النسخة الإنجليزية

مفهوم التصميم

1. ما هو لوشان؟

كانت لوشان قاعدة بيانات ذات قيمة مفتاح خفيفة الوزن في الإصدار 1.0. باستخدام Lushan ، يمكنك بسهولة بناء مجموعة على عدة آلات مثل Memcached. يعد Lushan 2.0 أيضًا إطار عمل خفيف الوزن يمكنه تركيب العديد من المكتبات المشتركة ، بحيث يكون لديك القدرة على الوصول إلى البيانات والحساب في عملية واحدة في نفس الوقت ، مما يجعله من السهل على ما لا يتجاوز كتابة خدمات كبيرة للبيانات وخدمات عالية الأداء. مناسبة بشكل خاص لسيناريوهات العمل لتوصيات الإنترنت والإعلان والبحث. تم استخدام Lushan في Sina Weibo التوصية والأعمال الإعلانية لسنوات عديدة.

2. خصائص لوشان

1. بروتوكول memcached يستخدم بروتوكول memcached ، والذي يمكنه استخدام عملاء اللغة المختلفة من memcached التي تم استخدامها على نطاق واسع.
2. يمكن لمكتبات متعددة.
3. يمكن لمجموعات الحوسبة المتعددة.
4. بيانات الحالة الإحصائية.
5. بسرعة كبيرة.
6. Hadoop. كما يوفر إطارًا للنقل ، والذي يمكن أن يجعل بياناتك عبر الإنترنت بطريقة بسيطة وصارمة.
7. يمكن لـ Redis.

3. لماذا تطوير لوشان؟

حوالي عام 2013 ، كنت أقوم بتطوير توصية "Weibo". أحتاج إلى توفير العديد من متاجر البيانات عبر الإنترنت لتجربة خوارزميات مختلفة ، بالإضافة إلى إصداراتها عبر الإنترنت واختبارها. هذا يتطلب نشر العديد من الأنظمة. هذا النهج منخفض للغاية. لذلك ، في عطلة نهاية أسبوع طورت لوشان ، والتي يمكن أن تحررك من هذه الأشياء ، رائعة جدًا.

هذا صحيح ، أصبح لوشان منذ ذلك الحين البنية التحتية لتوصية Weibo وأعمال الإعلان. الآن هناك مجموعتان تعملان وصيانتهما ، مع 12 آلة على التوالي ، تخدم بيانات الاستعلام عبر الإنترنت من T ، مع أكثر من مليار استعلام يوميًا.

عندما انتهيت من تطوير الإصدار الأول من لوشان ، كان لدي دائمًا الرغبة في السماح لوشان بتركيب المكتبة المشتركة في نفس الوقت. لكنني لم أكن أتفرج منذ فترة طويلة ، لأنني أعتقد أن الإطار يجب أن يكون له وضعه الخاص ، والآخر هو أنه يجب فصل الجزء الذي تم تغييره بسهولة عن الجزء المستقر في الهندسة المعمارية. ومع ذلك ، في عام 2015 ، عند تطوير إعلانات Weibo ، تم تصنيف بيانات اهتمام المستخدم والبيانات العلائقية وبيانات بتقديرات النقر إلى الوزراء من خلال Hadoop وتخزينها في Lushan في هذا الوقت. لذلك تخليت عن فكرتي الأصلية وقمت بتطبيق الإصدار الثاني ، مما جعل وظيفة لوشان أكثر قوة. في التطبيقات الفعلية ، لا يزال بإمكانك استخدام Lushan فقط كقاعدة بيانات ذات قيمة رئيسية ، أو نشر مجموعات Lushan التي توفر فقط البيانات والمجموعات التي توفر الحوسبة في نفس الوقت بشكل منفصل.

4. ابدأ بسرعة

يعتمد

1. libevent 1.4 أو أعلى.
2. إذا كنت ترغب في استخدام وظيفة إطار البرنامج ، فأنت بحاجة إلى libmemcached-1.0 أو أعلى.
3. إذا كنت بحاجة إلى استخدام Lproxy للاتصال بـ Redis ، فأنت بحاجة إلى redis c العميل Hiredis-0.13 أو أعلى

تجميع وتثبيت

1. افتح Makefile وتغيير libevent_home إلى مسار تثبيت libevent الخاص بك.
2. اجعل
3. افتح conf/lushan.conf وتعديل hdb_path و expload_path و hmod_path و log_path وفقًا لدليل التثبيت الخاص بك.
4. إذا كان لديك حاجة إلى ربط IP ، فيمكنك تعيين BIND_ADDR في CONF/LUSHAN.CONF.
5. أضف وحدة Lushan_upload في rsyncd.conf ، والمسار يتوافق مع $ upload_path التي حددتها أعلاه.

مثال الوصول إلى البيانات

تم توفير عينة من مكتبة في دليل الأمثلة ، وقم بتثبيتها وفقًا للخطوات التالية:

1. bin/lushan.sh> dev/null 2> & 1 & 1 &
2. أمثلة RSYNC/HDICT_20150820131415 127.0.0.1::LUSHAN_UPLOAD/1/
3. touch done.flg ؛
4. Echo -n -e "الحصول على 1-123456 r n" |

الإخراج هو القيمة المقابلة للمفتاح 123456.

اشرح كل خطوة:

1. الخطوة الأولى هي بدء عملية لوشان. Lushan.sh مسؤول عن بدء عملية Lushan والتحقق من دليل $ Upload_Path كل 3 ثوانٍ. إذا كان هناك مجلد مع HDCIT_XXXX في دليل $ upload_path/$ لا ، ويحتوي على ملف ind.flg. ثم انقله إلى $ HDB_PATH/$ لا وأرسل أمرًا إلى عملية Lushan إلى MOTTH HDICT_XXXX تحت رقم $ no.
2. rsync الخاص بك hdict_xxxx إلى $ expload_path/$ no ، حيث $ no هو الرقم الذي سيتم تركيب مجموعة البيانات هذه على Lushan. يرجى استخدام RSYNC بدلاً من CP ، ليس فقط لأنه يمكن لـ RSYNC نقل البيانات إلى جهاز آخر ، ولكن سيتم نقل RSYNC بنجاح أو تفشل ، ولن تكون هناك حالة وسيطة لنصف الملف.
3. بعد الانتهاء من الخطوات المذكورة أعلاه ، ستظل مكتبتك غير مثبتة تلقائيًا. نظرًا لأن lushan.sh لا يعرف ما إذا كان قد تم نقل hdict_xxxx أو تم نقل بعض الملفات الموجودة فيه فقط. لذلك ، تحتاج إلى RSYNC DONE.FLG إلى مجلد HDICT_XXXX. يمكن أن يسمح لك القيام بذلك أيضًا بالحفاظ على جزء من البيانات عبر الإنترنت على خوادم Lushan متعددة في نفس الوقت ، كما هو مذكور في "كيفية بناء مجموعة" أدناه.
4. يمكنك استخدام عميل memcached للاستعلام عن المكتبة التي قمت بتركيبها. ولكن هناك طريقة أسهل هي إرسال أوامر الامتثال لبروتوكول memcached. تعني الشهرة والثروة أعلاه أنك تريد الاستعلام عن المفتاح 123456 في المكتبة.

مثال على وحدة الحساب

عند استخدامه كإطار حوسبة ، يدعم Lushan بروتوكولين ، على غرار بروتوكول "عنوان URL" الخط الواحد لـ HTTP ، وبروتوكول مشابه لـ HTTP Post الذي يحدد طول قيمة الإرسال ، والذي يدعم أيضًا إرسال البيانات الثنائية. يتم توفير مثالين في دليل الوحدات النمطية: Lproxy و Lecho ، والتي تظهر هذين البروتوكولات على التوالي.

مثال Lproxy ، للمفتاح المطلوب ، Redis Query أولاً ، والعودة مباشرة إذا كان هناك redis ، واستعلام المكتبات المحلية المحلية إذا كان هناك redis. في الحالات البسيطة ، يمكن أيضًا استخدام هذا المثال في بيئات الإنتاج.

اتبع الخطوات أدناه:

1. قم بإنشاء ملف نصي x.txt ، وأدخل الخطين التاليين ، وعلامة التبويب الأولى هي المفتاح ، والما يلي هي القيمة ، على النحو التالي:

    168	hello lushan
    187	line 2
   

2. استخدم Lushan_line_maker في أدوات لتحويله إلى تنسيق ملف Lushan.

3. ابدأ redis على الجهاز ، و set dbno هو 1 ، ثم إضافة سجل ، مفتاح هو 168 ، القيمة هي "Hello redis"

4. تنفيذ Make في دليل hproxy ، ضع hmodule.so و hmodule.conf في دليل HMOD/15/1.0.0 ، وقم بتعديل المضيف والمنفذ في hmodule.conf لنشر IP ومنفذ Redis لك.

5. ينفذ:

    echo -ne "hmod_open /mnt/lushan/hmod/15/1.0.0/ 15rn" | nc 127.0.0.1 9999
   

   إذا تم إرجاع فتحه ، فسيتم تشغيله بنجاح ، وإلا تحقق مما إذا كان libhiredis في ld_library_path.

6. استفسار:

    echo -ne "get m15?k=1-168rn" | nc 127.0.0.1 9999
    VALUE m15?k=1-168 0 11
    hello redis
    END
   
    echo -ne "get m15?k=1-187rn" | nc 127.0.0.1 9999
    VALUE m15?k=1-187 0 6
    line 2
    END
   

   ثم ، كما نتوقع ، في حالة وجود Redis ، سيتم إرجاع نتيجة Redis ، وإلا سيتم الاستعلام عن بيانات Lushan.

7. أغلق وحدة:

    echo -ne "hmod_close 15rn" | nc 127.0.0.1 9999
   

   إذا لم يكن لكل وحداتك متغيرات عالمية ، فيمكنك استخدام HMOD_OPEN لاستبدال المكتبة القديمة مباشرة ، بحيث لا توجد خسارة للخدمات عبر الإنترنت.

مثال Lecho متشابه ، ما عليك سوى إرجاع البيانات التي طلبتها.

5. تنسيق HDICT

HDICT هو تنسيق المكتبة مثبت على لوشان. إنه بسيط للغاية. هناك ملفان ضروريان في دليل HDICT_XXXX و DAT و IDX. الأول يحتوي على بياناتك ، والأخير هو رسم خرائط للمفتاح لقيمة إزاحة موضع القيمة في ملف DAT. تعريف:

 typedef struct {
    uint64_t key;
    uint64_t pos;
} idx_t;

المفتاح هو هيكل عظمي طويل غير موقّع 64 بت لا يتضمن رقم المكتبة. يتكون POS من طول القيمة وإزاحةها في ملف DAT:

 pos = (length << 40) | offset;

يجب ترتيب ملف IDX بترتيب تصاعدي لـ IDX_T.Key. ملفات DAT غير مطلوبة. يمكنك إما إنشاء فهرس على ملف DAT الموجود بالفعل ، أو إنشاء فهرس في نفس الوقت عند إخراج الملف.

الملفات المطلوبة شائعة جدًا في النماذج الحسابية لتصميم الخريطة. يمكنك تحديد تنسيق ملف الإخراج في Hadoop لإنشاء مكتبة بتنسيق HDICT. على سبيل المثال ، الأمر التالي:

 job.setOutputFormat(LushanFileOutputFormat.class);

6. بيانات الحالة الإحصائية

هناك ثلاثة أوامر للحصول على بيانات الحالة الإحصائية: الإحصائيات والمعلومات و HMOD_INFO. يقوم السابق بإخراج البيانات العالمية ، في حين أن اثنين من البيانات الأخيرين يخرجان لكل مكتبة وكل وحدة نمطية.

 echo -n -e "statsrn" | nc 127.0.0.1 9999

STAT pid 13810
STAT uptime 1435075686
STAT curr_connections 1411
STAT connection_structures 4061
STAT cmd_get 2099151223
STAT get_hits 3950240117
STAT get_misses 2443878402
STAT threads 16
STAT timeouts 117
STAT waiting_requests 0
STAT ialloc_failed 0
END

echo -n -e "inforn" | nc 127.0.0.1 9999

id                label state ref   num_qry  idx_num     open_time path
----------------------------------------------------------------
1   interest_CF_trends  OPEN  0   139922 18419392 150824-042654 /mnt/lushan/hdb/12/hdict_20150711204737
2   interest_CF_trends  OPEN  0   190508 26175141 150824-050246 /mnt/lushan/hdb/12/hdict_20150711204737

echo -ne "hmod_inforn" | nc 127.0.0.1 9999
id                label state ref   num_qry     open_time path
----------------------------------------------------------------
0                       OPEN  0  267130787 180419-174502 /mnt/lushan/hmod/0
5                       OPEN  0  336829974 180419-174503 /mnt/lushan/hmod/5

يمكنك استخدام lushan.php لإنشاء صفحات حالة إحصائيات رسومية.

7. كيف تبني مجموعة؟

إذا كانت لديك خبرة مع MySQL ، فسيكون من السهل بناء مجموعة بسيطة. أولاً ، تريد تقسيم بياناتك إلى مجموعات ، وعادة ما تكون مضاعفة رقم جهازك. ثم ضع في اعتبارك عدد مجموعات الخدمات التي تريد نشرها ، وعادة ما تكون مجموعتان من الموزعة في IDCs مختلفة. ثم اتبع قواعد التجميع للاستعلام عن بياناتك من خلال العميل Memcached.

على الرغم من أنه بسيط للغاية ، إلا أن لوشان لا يزال يوفر إطارًا بسيطًا لمساعدتك في التعامل مع بعض تفاصيل نقل البيانات.

1. تحقق بشكل دوري ما إذا كان قد تم إنشاء المكتبة في تنسيق HDICT.
2. قم بتنزيل مكتبة تنسيق HDICT من Hadoop إلى الجهاز الذي يقع فيه Lushan ، أو نقله من المحلية إلى الجهاز الذي يقع فيه Lushan. فيما يلي مكون إضافي يتيح لك التحقق من ما إذا كانت بياناتك قانونية قبل الاتصال بالإنترنت.
3. ملف تنسيق RSYNC HDICT إلى كل نسخة خدمة Lushan من الرقم المقابل. بعد كل النقل الناجح ، يتم إجراء RSYNC.

8. Lushan غير أفضل الممارسات

1. اسم المجال.
2. راقب ما إذا كانت البيانات متاحةً في الوقت المحدد.
3. يتم إعادة تشغيل خدمة Lushan. ومع ذلك ، عند استخدامه كإطار برامج ، قد يتم إعادة تشغيله بسبب الأخطاء في رمز الوحدة النمطية. إذا تم إعادة تشغيله ، سيتم استدعاء المنبه.
4. رحلة. يمكنك إضافة هذا الملف إلى دليل Hmodule الذي تم إطلاقه حديثًا.

9. كيفية عمل دعم بروتوكول memcached إرسال طلبات معقدة؟

بروتوكول memcached بسيط نسبيا. يدعم أمر SET CLASS الطلبات المعقدة ، ولكنه يدعم فقط نتائج بسيطة نسبيًا. قامت Lushan بتغييرات على ذلك.

1. يمكن أن يتجاوز "المفتاح" لطلب الحصول على حد 250 بايت. الإعدادات عند الإرسال:

    memcached_behavior_set(memc, MEMCACHED_BEHAVIOR_VERIFY_KEY, 0);
   

   بهذه الطريقة ، لا توجد مشكلة في إرسال libmemcached. عند إرجاع النتيجة ، تحتاج إلى إرجاع المفتاح في غضون 250 بايت. طالما كنت تقرأ وفقًا للمفتاح المقطوع عند القراءة ، والمفتاح المقطوع لا يتعارض.

2. الاستخدام يحصل على دعم إرسال خطوط متعددة من الطلبات. عادةً ما يكون طلب الحصول على GET بسيطًا كافيًا ، ولكن إذا كنت ترغب في إرسال طلب مشابه لـ JSON ، فأنت بحاجة إلى بروتوكول أكثر تعقيدًا. قام Lushan بإعادة تعديل بروتوكول GOT وتعديله إلى نفس البروتوكول الذي تم تعيينه. عند استخدام العميل ، اضغط على الإعدادات أعلاه للتحقق من شرعية المفتاح ، ثم إرسال حزمة بالتنسيق التالي:

    gets key 0 0 value_lenrn
    valuern
   

   فقط جلب المفتاح في نتيجة العودة. يتم إجراء التغليف في lutil.h ، واتصل فقط hrequest_pack.

10. لوشان المشاكل والحلول المحتملة

1. هناك مهلة أكثر في القانون الأساسي ، أو تقوم بتسجيل المزيد من الطلبات من العميل إلى أوقات مهلة أكبر من أو تساوي تكوينك.

2. هناك العديد من ملفات HDICT التي لم يتم نقلها تحت عدد معين من التحميلات ، مما يعني عادةً أن البرنامج النصي لإرسالك سيتم مقاطعة قبل نقله.