الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

شعار

hmni

اسم غامض المطابقة مع التعلم الآلي. أداء مهام مطابقة الأسماء الغامضة المشتركة بما في ذلك تسجيل التشابه ، وربط السجل ، وإلهاء التخفيف والتطبيع.

يتم تدريب HMNI على مجموعة بيانات FirstName لاتينية لاتينية ، حيث يتم منح الدقة الأولوية.

نموذج دقة دقة يتذكر F1 درجة
hmni-latin 0.9393 0.9255 0.7548 0.8315

للحصول على مقدمة للمنهجية والبحث وراء HMNI ، يرجى الرجوع إلى منشور مدونتي.

متطلبات

بيثون 3.5-3.8

  • Tensorflow
  • Scikit-Learn
  • fuzzywuzzy
  • أبيدوس
  • unidecode

دليل الاستخدام السريع

تثبيت

باستخدام PIP عبر PYPI 

pip install hmni

تهيئة كائن المطابقة 

 import hmni
matcher = hmni . Matcher ( model = 'latin' )

تشابه زوج واحد 

 matcher . similarity ( 'Alan' , 'Al' )
# 0.6838303319889133

matcher . similarity ( 'Alan' , 'Al' , prob = False )
# 1

matcher . similarity ( 'Alan Turing' , 'Al Turing' , surname_first = False )
# 0.6838303319889133

سجل الربط 

 import pandas as pd

df1 = pd . DataFrame ({ 'name' : [ 'Al' , 'Mark' , 'James' , 'Harold' ]})
df2 = pd . DataFrame ({ 'name' : [ 'Mark' , 'Alan' , 'James' , 'Harold' ]})

merged = matcher . fuzzymerge ( df1 , df2 , how = 'left' , on = 'name' )

اسم إلغاء التماثيل والتطبيع 

 names_list = [ 'Alan' , 'Al' , 'Al' , 'James' ]

matcher . dedupe ( names_list , keep = 'longest' )
# ['Alan', 'James']

matcher . dedupe ( names_list , keep = 'frequent' )
# ['Al, 'James']

matcher . dedupe ( names_list , keep = 'longest' , replace = True )
# ['Alan, 'Alan', 'Alan', 'James']

معلمات المطابقة

hmni.matcher (model = 'latin' ، prefilter = true ، allow_alt_surname = true ، lead_initials = true ، allow_missing_components = true)

  • النموذج (STR) - نموذج إحصائي HMNI (اللاتيني افتراضيًا)
  • مسبق (BOOL) - إذا كان المرشح المسبق للمطابق غير مرجح (صحيح افتراضيًا)
  • left_alt_surname (Bool) - إذا نظر المتطابق في الألقاب الصوتية EG Smith ، Schmidt (True بشكل افتراضي)
  • left_initials (bool) - إذا نظر المطابقة في الأسماء ذات الأحرف الأولى (صواب افتراضيًا)
  • left_missing_components (bool) - إذا نظر المطابقة في الأسماء ذات المكونات المفقودة (صحيح بشكل افتراضي)

طرق المطابقة

التشابه (name_a ، name_b ، prob = true ، surname_first = false)

  • name_a (Str) - الاسم الأول للمقارنة
  • NAME_B (STR) - الاسم الثاني للمقارنة
  • Prob (Bool) - إذا كان حقيقيًا إرجاع احتمال متوقع ، وعلامة فئة ثنائية أخرى
  • عتبة (تعويم) - عتبة احتمال التنبؤ للمطابقة الإيجابية (0.5 بشكل افتراضي)
  • SURNAME_FIRST (BOOL) - إذا بدأت سلاسل الأسماء مع اللقب (خطأ بشكل افتراضي)

fuzzymerge (df1 ، df2 ، how = 'inner' ، on = none ، left_on = none ، right_on = none ، aducator = false ، limit = 1 ، threshold = 0.5 ، lemexact_matches = true ، surname_first = false)

  • DF1 (Pandas DataFrame أو Series Series) - الكائن الأول/الأيسر للاندماج مع
  • DF2 (Pandas DataFrame أو Series Series) - الكائن الثاني/الأيمن للاندماج مع
  • كيف (STR) - نوع الدمج المراد تنفيذه
    • inner (افتراضي): استخدم تقاطع المفاتيح من كلا الإطارات ، على غرار انضمام SQL الداخلي ؛ الحفاظ على ترتيب المفاتيح اليسرى
    • left : استخدم مفاتيح فقط من الإطار الأيسر ، على غرار الانضمام الخارجي اليسرى ؛ الحفاظ على الترتيب الرئيسي
    • right : استخدم مفاتيح فقط من الإطار الأيمن ، على غرار الانضمام الخارجي اليمنى SQL ؛ الحفاظ على الترتيب الرئيسي
    • outer : استخدم Union of Keys من كلا الإطارات ، على غرار انضمام SQL الخارجي الكامل ؛ فرز مفاتيح معجمية
  • على (تسمية أو قائمة) - أسماء مستوى العمود أو الفهرس للانضمام إليها. يجب العثور على هذه في كلا بيانات البيانات
  • Left_on (تسمية أو قائمة) - أسماء مستوى العمود أو الفهرس للانضمام إليها في DataFrame الأيسر
  • Right_on (تسمية أو قائمة) - أسماء مستوى العمود أو الفهرس للانضمام إليها في DataFrame الصحيح
  • المؤشر (BOOL) - إذا كان هذا صحيحًا ، يضيف عمودًا لإخراج DataFrame يسمى "_merge" مع معلومات حول مصدر كل صف (خطأ افتراضيًا)
  • الحد (الباحث) - العدد الأعلى لمطابقات الأسماء للنظر (1 بشكل افتراضي)
  • عتبة (تعويم) - عتبة احتمال التنبؤ للمطابقة الإيجابية (0.5 بشكل افتراضي)
  • left_exact_matches (bool) - إذا كان صحيحًا السماح بالاندماج على تطابقات الأسماء الدقيقة ، فلا تعتبر المطابقة الدقيقة (True بشكل افتراضي)
  • SURNAME_FIRST (BOOL) - إذا بدأت سلاسل الأسماء مع اللقب (خطأ بشكل افتراضي)

dedupe (الأسماء ، العتبة = 0.5 ، Keep = '' longister '، revers = true ، limit = 3 ، replace = false ، surname_first = false)

  • أسماء (قائمة) - قائمة الأسماء إلى Dedupe
  • عتبة (تعويم) - عتبة احتمال التنبؤ للمطابقة الإيجابية (0.5 بشكل افتراضي)
  • Keep (STR) - يحدد طريقة للحفاظ على أحد الأسماء البديلة المتعددة
    • longest (افتراضي): يحتفظ بأطول اسم
    • frequent : يحتفظ بالأسماء الأكثر شيوعًا في قائمة الأسماء
  • عكسي (Bool) - إذا كان True سيقوم بفرز التطابقات المتنافسة ، أو تصاعدي آخر (صحيح بشكل افتراضي)
  • LIMIT (INT) - العدد الأعلى لمطابقات الأسماء للنظر (3 بشكل افتراضي)
  • استبدال (BOOL) - إذا كانت قائمة الأسماء العادية الحقيقية ، فإن قائمة الأسماء المكرسة مرة أخرى (FALSE بشكل افتراضي)
  • SURNAME_FIRST (BOOL) - إذا بدأت سلاسل الأسماء مع اللقب (خطأ بشكل افتراضي)

ississ_similarity (name_a ، name_b ، النتيجة)

  • NAME_A (STR) - الاسم الأول لتخصيص درجة التشابه
  • NAME_B (STR) - الاسم الثاني لتخصيص درجة التشابه
  • النتيجة (تعويم) - درجة التشابه المعينة لزوج من الأسماء

المساهمة

طلبات السحب موضع ترحيب. للمطورين الذين يرغبون في إنشاء نموذج باستخدام أجهزة الكمبيوتر المحمولة اللاتينية أو غير اللاتينية (الصينية ، السيريلية ، العربية) ، تتم مشاركة دفاتر الملاحظات Jupyter في مجلد dev لإنشاء نماذج باستخدام طرق مماثلة.

رخصة

معهد ماساتشوستس للتكنولوجيا

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل