الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

؟​​​

أوجه التشابه: حساب التشابه والبحث الدلالي

أوجه التشابه : مجموعة أدوات لحساب التشابه والبحث الدلالي ، تدعم النص والصورة.

تنفذ أوجه التشابه مجموعة متنوعة من حسابات التشابه وخوارزميات استرجاع المطابقة الدلالية للنص والصور ، ويدعم مليارات من البحث عن البيانات ، والبحث عن النص ، والبحث عن الصور ، وتطوير Python3 ، وتثبيت PIP ، وخارج المربع.

مرشد

  • سمات
  • ثَبَّتَ
  • الاستخدام
  • اتصال
  • شكر وتقدير

سمات

حساب تشابه النص + البحث عن النص

  • نموذج المطابقة الدلالي [الموصى به]: هذا المشروع ينفذ حساب تشابه النص والبحث النصية لنموذج cosent استنادًا إلى Text2Vec
    • يدعم النماذج التي تم تدريبها مسبقًا باللغة الصينية والإنجليزية ، متعددة اللغات ، SentenceBert
    • يدعم تشابه COS/DOT المنتج/المسافة الهامغ/المسافة الإقليدية وطرق حساب التشابه الأخرى
    • يدعم خوارزميات البحث النصية المختلفة مثل Scyanticsearch/FAISS/LIGHT/HNSW
    • دعم استرجاع فعال لمليارات البيانات
    • دعم ناقل نقل سطر الأوامر (بطاقات متعددة) ، فهرسة واسترجاع الدُفعات وبدء الخدمات
  • نموذج المطابقة الحرفي: ينفذ هذا المشروع نماذج مطابقة مختلفة مثل Word2Vec و BM25 و RANKBM25 و TFIDF و SIMHASH و WORD FORES

حساب تشابه الصورة/حساب تشابه الرسم+البحث الرسمي/البحث عن النص

  • مقطع (صورة لغة متناقضة قبل التدريب): نموذج مطابقة الرسوم ، والذي يمكن استخدامه لميزات الرسوم (التضمين) ، وحساب التشابه ، والبحث الرسمي ، وتصنيف صورة العينة الصفرية (استنادًا إلى Fastapi).
    • يدعم نماذج سلسلة المقطع مثل Openai/Clip-Vit-Base-Patch32
    • دعم نماذج السلسلة الصينية مثل OFA-SYS/صينية clip-huge-patch14
    • يدعم نشر الفصل الأمامي ، وخدمة Fastapi الخلفية ، وشاشة Gradio في الواجهة الأمامية
    • يدعم استرجاع فعال لمليارات البيانات ، استنادًا إلى استرجاع FAISS ، يدعم تسريع GPU
    • يدعم البحث عن الصور ، والبحث عن النص ، والبحث في المتجه
    • دعم استخراج تضمين الصورة واستخراج تضمين النص
    • دعم حساب تشابه الصورة وحساب تشابه الصورة
    • دعم صورة سطر الأوامر المتجه (بطاقات متعددة) ، فهرسة واسترجاع الدُفعات وخدمات بدء التشغيل
  • استخراج ميزة الصورة: ينفذ هذا المشروع مجموعة متنوعة من خوارزميات استخراج ميزة الصور مثل Phash و Dhash و Whash و Ahash و SIFT على أساس CV2

العرض التوضيحي

البحث عن الصور التوضيحي: https://huggingface.co/spaces/shibing624/clip-image-search

توضيح البحث عن النص: https://huggingface.co/spaces/shibing624/similarities

ثَبَّتَ 

 pip install torch # conda install pytorch
pip install -U similarities

أو 

 git clone https://github.com/shibing624/similarities.git
cd similarities
pip install -e .

الاستخدام

1. حساب تشابه ناقلات النص

مثال: أمثلة/text_similarity_demo.py 

 from similarities import BertSimilarity
m = BertSimilarity ( model_name_or_path = "shibing624/text2vec-base-chinese" )
r = m . similarity ( '如何更换花呗绑定银行卡' , '花呗更改绑定银行卡' )
print ( f"similarity score: { float ( r ) } " )  # similarity score: 0.855146050453186
  • model_name_or_path : سيتم تنزيل اسم النموذج أو المسار من HF Model Hub بشكل افتراضي ويتم استخدام نموذج المطابقة الدلالية الصينية Shibing624/text2vec-base-chinese ، ويمكن استبداله بـ Multipual ، والكوريان ، والكوريان ، واللجنة الأخرى ، واللجنة الأخرى ، واللجنة.

2. البحث عن ناقلات النص

ابحث عن النص الأكثر تشابهًا مع الاستعلام في مجموعة مرشح المستند ، والذي يتم استخدامه غالبًا في المباريات المماثلة وعمليات البحث النصية في سيناريوهات ضمان الجودة.

خوارزمية البحث الدقيقة الدقيقة ، بحث COS التشابه + Topk Cluster ، مناسبة لمجموعات البيانات خلال الملايين

مثال: أمثلة/text_semantic_search_demo.py

خوارزميات البحث التقريبية مثل الإزعاج و HNSWLIB مناسبة لملايين مجموعات البيانات

مثال: أمثلة/fast_text_semantic_search_demo.py

Faiss فعال البحث في المتجه ، مناسب لمليارات مجموعات البيانات

  • ناقل نقل النص ، فهرسة ، بحث الدُفعات ، بدء الخدمة: أمثلة/faiss_bert_search_server_demo.py

  • استدعاء Python الواجهة الأمامية: أمثلة/faiss_bert_search_client_demo.py

3. حساب تشابه النص حرفيًا والبحث عن النص

وهو يدعم حساب التشابه والبحث عن المطابقة الحرفية عن مرادفات مثل Cilin ، CNKI Hownet ، WordEmbedding ، TFIDF ، Simhash ، BM25 ، وما إلى ذلك ، وغالبًا ما يتم استخدامها في بداية النصوص الباردة.

مثال: أمثلة/piteral_text_semantic_search_demo.py

4. حساب تشابه الصورة والبحث في الصور

يدعم حساب تشابه الصورة والبحث عن خوارزميات مثل المقطع ، والتشبؤ ، و SIFT.

مثال: أمثلة/image_semantic_search_demo.py

Image_sim

Faiss فعال البحث في المتجه ، مناسب لمليارات مجموعات البيانات

  • ناقلات تحول الصور ، الفهرسة ، البحث الدُفعات ، خدمة البدء: أمثلة/faiss_clip_search_server_demo.py

  • استدعاء Python الواجهة الأمامية: أمثلة/faiss_clip_search_client_demo.py

  • مكالمة Gradio الواجهة الأمامية: أمثلة/faiss_clip_search_gradio_demo.py

5. التجميع

يمكن إجراء التجميع على مجموعات بيانات واسعة النطاق من خلال خوارزميات Community_Detection للعثور على التجميع (أي مجموعات جملة مماثلة).

مثال: أمثلة/text_clustering_demo.py

6. تتم إزالة دلالات الرسومات والنص

يمكن استخدام خوارزمية تعدين الجملة المرادف (paraphrase_mining_embeddings) لتنص على أزواج الجملة مع معاني مماثلة من عدد كبير من الجمل أو المستندات ، والتي يمكن استخدامها للكشف عن الرسومات والكشف عن النصوص ودايتها.

  • النص الدلالي الدلالي: أمثلة/text_duplicates_demo.py
  • الصورة الدلالية الدلالية: أمثلة/image_duplicates_demo.py

وضع سطر الأوامر (CLI)

  • دعم الدُفعات الاستحواذ على ناقلات النص وناقلات الصور (التضمين)
  • يدعم بناء الفهرس (الفهرس)
  • يدعم استرجاع الدُفعات (مرشح)
  • دعم خدمة بدء التشغيل (الخادم)

الكود: cli.py 

 > similarities -h                                    

NAME
    similarities

SYNOPSIS
    similarities COMMAND

COMMANDS
    COMMAND is one of the following:

     bert_embedding
       Compute embeddings for a list of sentences

     bert_index
       Build indexes from text embeddings using autofaiss

     bert_filter
       Entry point of bert filter, batch search index

     bert_server
       Main entry point of bert search backend, start the server

     clip_embedding
       Embedding text and image with clip model

     clip_index
       Build indexes from embeddings using autofaiss

     clip_filter
       Entry point of clip filter, batch search index

     clip_server
       Main entry point of clip search backend, start the server

يجري: 

pip install similarities -U
similarities clip_embedding -h

# example
cd examples
similarities clip_embedding data/toy_clip/
  • bert_embedding وما إلى ذلك هي أوامر ثانوية.
  • انظر similarities clip_embedding -h
  • في المثال أعلاه ، data/toy_clip/ هي معلمة input_dir لطريقة clip_embedding ، وأدخل دليل الملف (مطلوب)

اتصال

  • القضية (اقتراحات):
  • راسلني: xuming: [email protected]
  • WeChat ME: أضفني معرف WeChat: Xuming624 ، ملاحظة: Name-Company-NLP أدخل مجموعة Exchange NLP.

اقتباس

إذا كنت تستخدم أوجه التشابه في بحثك ، فيرجى اقتباسها بالتنسيق التالي:

APA: 

 Xu, M. Similarities: Compute similarity score for humans (Version 1.0.1) [Computer software]. https://github.com/shibing624/similarities

bibtex: 

 @misc{Xu_Similarities_Compute_similarity,
  title={Similarities: similarity calculation and semantic search toolkit},
  author={Xu Ming},
  year={2022},
  howpublished={url{https://github.com/shibing624/similarities}},
}

رخصة

اتفاقية الترخيص هي ترخيص Apache 2.0 ، والذي يمكن استخدامه لأغراض تجارية مجانًا. يرجى إرفاق اتفاقية الرابط والترخيص بوصف المنتج.

يساهم

لا يزال رمز المشروع قاسيًا للغاية.

  • أضف اختبارات الوحدة المقابلة في tests
  • استخدم python -m pytest لتشغيل جميع اختبارات الوحدة لضمان اجتياز جميع الاختبارات الفردية

يمكنك تقديم العلاقات العامة الخاصة بك لاحقًا.

شكر وتقدير

  • خط أساسي بسيط ولكنه صعبة للتضمينات الجملة [Sanjeev Arora و Yingyu Liang و Tengyu MA ، 2017]
  • https://github.com/liuhuanyong/sentencesimilarity
  • https://github.com/qwertyforce/image_search
  • ImageHash - مستودع جيثب الرسمي
  • https://github.com/openai/clip
  • https://github.com/ofa-sys/chinese clip
  • https://github.com/ukplab/sentence-transformers
  • https://github.com/rom1504/clip-retrival

شكرا لعملهم العظيم!

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل