หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

?​​​

ความคล้ายคลึงกัน: การคำนวณความคล้ายคลึงกันและการค้นหาความหมาย

ความคล้ายคลึงกัน : ชุดเครื่องมือสำหรับการคำนวณความคล้ายคลึงกันและการค้นหาความหมายรองรับข้อความและรูปภาพที่คล้ายคลึงกัน

ความคล้ายคลึงกัน ใช้การคำนวณความคล้ายคลึงกันที่หลากหลายและอัลกอริทึมการจับคู่ความหมายสำหรับข้อความและรูปภาพและรองรับการค้นหาข้อมูลหลายพันล้านรายการการค้นหาข้อความและการค้นหารูปภาพการพัฒนา Python3 การติดตั้ง PIP และนอกกรอบ

แนะนำ

  • คุณสมบัติ
  • ติดตั้ง
  • การใช้งาน
  • ติดต่อ
  • กิตติกรรมประกาศ

คุณสมบัติ

การคำนวณความคล้ายคลึงกันของข้อความ + การค้นหาข้อความ

  • โมเดลการจับคู่ความหมาย [แนะนำ]: โครงการนี้ใช้การคำนวณความคล้ายคลึงกันของข้อความและการค้นหาข้อความของโมเดล cosent ตาม text2vec
    • สนับสนุนโมเดลที่ผ่านการฝึกอบรมมาก่อนภาษาจีนและภาษาอังกฤษหลายภาษาประโยค
    • รองรับ COS ความคล้ายคลึงกัน/DOT ผลิตภัณฑ์/ระยะทาง hamming/ระยะทางแบบยุคลิดและวิธีการคำนวณความคล้ายคลึงกันอื่น ๆ
    • รองรับอัลกอริทึมการค้นหาข้อความต่างๆเช่น SemanticSearch/FAISS/FAINS/HNSW
    • สนับสนุนการดึงข้อมูลหลายพันล้านครั้งอย่างมีประสิทธิภาพ
    • สนับสนุนบรรทัดคำสั่งการถ่ายโอนเวกเตอร์ (การ์ดหลายใบ) การจัดทำดัชนีการดึงแบทช์และบริการเริ่มต้น
  • แบบจำลองการจับคู่ที่แท้จริง: โครงการนี้ใช้แบบจำลองการจับคู่ที่หลากหลายเช่น Word2vec, BM25, RankBM25, TFIDF, Simhash, คำพ้องความหมาย

การคำนวณความคล้ายคลึงกันของภาพ/การคำนวณความคล้ายคลึงกันของกราฟิก+การค้นหากราฟิก/การค้นหาข้อความ

  • คลิป (รูปแบบภาษาที่ตัดกัน) แบบจำลอง: โมเดลการจับคู่กราฟิกซึ่งสามารถใช้สำหรับคุณสมบัติกราฟิก (ฝังตัว), การคำนวณความคล้ายคลึงกัน, การค้นหากราฟิกและการจำแนกภาพตัวอย่างเป็นศูนย์
    • รองรับรุ่นคลิปซีรีส์เช่น OpenAI/CLIP-VIT-BASE-PATCH32
    • รองรับโมเดลซีรีส์คลิปจีนเช่น OFA-SYS/Chinese-Clip-Vit-Huge-Patch14
    • รองรับการปรับใช้การแยกส่วนหน้าบริการ Fastapi Back-end และหน้าจอ front-end Gradio
    • รองรับการดึงข้อมูลที่มีประสิทธิภาพหลายพันล้านครั้งตามการดึงข้อมูล FAISS รองรับการเร่งความเร็ว GPU
    • รองรับการค้นหารูปภาพการค้นหาข้อความการค้นหาเวกเตอร์
    • สนับสนุนการสกัดภาพฝังภาพและการสกัดแบบฝังข้อความ
    • สนับสนุนการคำนวณความคล้ายคลึงกันของภาพและการคำนวณความคล้ายคลึงกันของภาพ
    • สนับสนุนเส้นคำสั่งการเปลี่ยนเวกเตอร์ (การ์ดหลายใบ) การจัดทำดัชนีการดึงแบทช์และบริการสตาร์ทอัพ
  • การแยกคุณสมบัติของภาพ: โครงการนี้ใช้อัลกอริทึมการแยกคุณสมบัติรูปภาพที่หลากหลายเช่น Phash, Dhash, Whash, Ahash, SIFT ตาม CV2

การสาธิต

ตัวอย่างการค้นหาภาพ: https://huggingface.co/spaces/shibing624/clip-image-search

ตัวอย่างการค้นหาข้อความ: https://huggingface.co/spaces/shibing624/similarities

ติดตั้ง 

 pip install torch # conda install pytorch
pip install -U similarities

หรือ 

 git clone https://github.com/shibing624/similarities.git
cd similarities
pip install -e .

การใช้งาน

1. การคำนวณความคล้ายคลึงกันของเวกเตอร์

ตัวอย่าง: ตัวอย่าง/text_similarity_demo.py 

 from similarities import BertSimilarity
m = BertSimilarity ( model_name_or_path = "shibing624/text2vec-base-chinese" )
r = m . similarity ( '如何更换花呗绑定银行卡' , '花呗更改绑定银行卡' )
print ( f"similarity score: { float ( r ) } " )  # similarity score: 0.855146050453186
  • model_name_or_path : ชื่อหรือเส้นทางของรุ่นจะถูกดาวน์โหลดจากฮับรุ่น HF โดยค่าเริ่มต้นและรุ่นการจับคู่ความหมายของจีน Shibing624/text2Vec-base-chinese ถูกใช้

2. การค้นหาเวกเตอร์ข้อความ

ค้นหาข้อความที่คล้ายกับการสืบค้นในชุดผู้สมัครเอกสารซึ่งมักใช้สำหรับการจับคู่ที่คล้ายกันและการค้นหาข้อความในสถานการณ์ QA

SemanticSearch อัลกอริทึมการค้นหาที่แม่นยำ, COS ความคล้ายคลึงกัน + การค้นหาคลัสเตอร์ TOPK ซึ่งเหมาะสำหรับชุดข้อมูลภายในล้าน

ตัวอย่าง: ตัวอย่าง/text_semantic_search_demo.py

อัลกอริธึมการค้นหาโดยประมาณเช่นการรบกวนและ hnswlib เหมาะสำหรับชุดข้อมูลหลายล้านชุด

ตัวอย่าง: ตัวอย่าง/fast_text_semantic_search_demo.py

การค้นหาเวกเตอร์ที่มีประสิทธิภาพของ FAISS เหมาะสำหรับชุดข้อมูลหลายพันล้านชุด

  • เวกเตอร์การถ่ายโอนข้อความการจัดทำดัชนีการค้นหาแบทช์บริการเริ่มต้น: ตัวอย่าง/faiss_bert_search_server_demo.py

  • การโทร Python front-end: ตัวอย่าง/faiss_bert_search_client_demo.py

3. การคำนวณความคล้ายคลึงกันของข้อความตามตัวอักษรและการค้นหาข้อความ

รองรับการคำนวณความคล้ายคลึงกันและการค้นหาการจับคู่ที่แท้จริงสำหรับคำพ้องความหมายเช่น cilin, cnki hownet, wordembedding, tfidf, simhash, bm25 ฯลฯ และมักจะใช้สำหรับการจับคู่ข้อความเริ่มต้นเย็น

ตัวอย่าง: ตัวอย่าง/literal_text_semantic_search_demo.py

4. การคำนวณความคล้ายคลึงกันของภาพและการค้นหาภาพ

รองรับการคำนวณความคล้ายคลึงกันของภาพและการค้นหาอัลกอริทึมเช่นคลิป, Phash และ SIFT

ตัวอย่าง: ตัวอย่าง/image_semantic_search_demo.py

image_sim

การค้นหาเวกเตอร์ที่มีประสิทธิภาพของ FAISS เหมาะสำหรับชุดข้อมูลหลายพันล้านชุด

  • การเปลี่ยนภาพเวกเตอร์การจัดทำดัชนีการค้นหาแบทช์บริการเริ่มต้น: ตัวอย่าง/faiss_clip_search_server_demo.py

  • การโทร Python front-end: ตัวอย่าง/faiss_clip_search_client_demo.py

  • front-end gradio call: ตัวอย่าง/faiss_clip_search_gradio_demo.py

5. การจัดกลุ่ม

การทำคลัสเตอร์สามารถทำได้ในชุดข้อมูลขนาดใหญ่ผ่านอัลกอริทึม Community_detection เพื่อค้นหาการจัดกลุ่ม (เช่นกลุ่มประโยคที่คล้ายกัน)

ตัวอย่าง: ตัวอย่าง/text_clustering_demo.py

6. ความหมายกราฟิกและข้อความจะถูกลบออก

อัลกอริทึมคำพ้องความหมาย (paraphrase_mining_embeddings) อัลกอริทึมสามารถใช้ในการขุดคู่ประโยคที่มีความหมายคล้ายกันจากประโยคหรือเอกสารจำนวนมากซึ่งสามารถใช้สำหรับกราฟิกและการตรวจจับข้อความซ้ำซ้อน

  • ข้อความซ้ำซ้อนความหมาย: ตัวอย่าง/text_duplicates_demo.py
  • การขจัดข้อมูลซ้ำซ้อนแบบความหมาย: ตัวอย่าง/image_duplicates_demo.py

โหมดบรรทัดคำสั่ง (CLI)

  • รองรับการได้มาซึ่งแบทช์ของเวกเตอร์ข้อความและเวกเตอร์ภาพ (ฝัง)
  • รองรับการสร้างดัชนี (ดัชนี)
  • รองรับการดึงแบทช์ (ตัวกรอง)
  • บริการสนับสนุนการเริ่มต้น (เซิร์ฟเวอร์)

รหัส: cli.py 

 > similarities -h                                    

NAME
    similarities

SYNOPSIS
    similarities COMMAND

COMMANDS
    COMMAND is one of the following:

     bert_embedding
       Compute embeddings for a list of sentences

     bert_index
       Build indexes from text embeddings using autofaiss

     bert_filter
       Entry point of bert filter, batch search index

     bert_server
       Main entry point of bert search backend, start the server

     clip_embedding
       Embedding text and image with clip model

     clip_index
       Build indexes from embeddings using autofaiss

     clip_filter
       Entry point of clip filter, batch search index

     clip_server
       Main entry point of clip search backend, start the server

วิ่ง: 

pip install similarities -U
similarities clip_embedding -h

# example
cd examples
similarities clip_embedding data/toy_clip/
  • bert_embedding เป็นต้นเป็นคำสั่งรอง
  • ดู similarities clip_embedding -h
  • ในตัวอย่างข้างต้น data/toy_clip/ เป็นพารามิเตอร์ input_dir ของวิธี clip_embedding และป้อนไดเรกทอรีไฟล์ (จำเป็น)

ติดต่อ

  • ปัญหา (ข้อเสนอแนะ):
  • ส่งอีเมลถึงฉัน: Xuming: [email protected]
  • WeChat Me: เพิ่มฉัน WeChat ID: Xuming624, หมายเหตุ: Name-Company-NLP ป้อน NLP Exchange Group

การอ้างอิง

หากคุณใช้ความคล้ายคลึงกันในการวิจัยของคุณโปรดอ้างอิงในรูปแบบต่อไปนี้:

APA: 

 Xu, M. Similarities: Compute similarity score for humans (Version 1.0.1) [Computer software]. https://github.com/shibing624/similarities

bibtex: 

 @misc{Xu_Similarities_Compute_similarity,
  title={Similarities: similarity calculation and semantic search toolkit},
  author={Xu Ming},
  year={2022},
  howpublished={url{https://github.com/shibing624/similarities}},
}

ใบอนุญาต

ข้อตกลงใบอนุญาตคือ Apache License 2.0 ซึ่งสามารถใช้เพื่อวัตถุประสงค์ทางการค้าได้ฟรี โปรดแนบลิงค์และข้อตกลงการอนุญาตให้กับคำอธิบายผลิตภัณฑ์

มีส่วนช่วย

รหัสโครงการยังคงหยาบมาก

  • เพิ่มการทดสอบหน่วยที่สอดคล้องกันใน tests
  • ใช้ python -m pytest เพื่อเรียกใช้การทดสอบหน่วยทั้งหมดเพื่อให้แน่ใจว่าการทดสอบครั้งเดียวทั้งหมดจะผ่านไป

คุณสามารถส่ง PR ของคุณได้ในภายหลัง

กิตติกรรมประกาศ

  • พื้นฐานที่เรียบง่าย แต่ยากต่อจังหวะสำหรับการฝังประโยค [Sanjeev Arora และ Yingyu Liang และ Tengyu MA, 2017]
  • https://github.com/liuhuanyong/sentencesimilarity
  • https://github.com/qwertyforce/image_search
  • ImageHash - ที่เก็บ GitHub อย่างเป็นทางการ
  • https://github.com/openai/clip
  • https://github.com/ofa-sys/chinese-clip
  • https://github.com/ukplab/sentence-transformers
  • https://github.com/rom1504/clip-retrieval

ขอบคุณสำหรับการทำงานที่ยอดเยี่ยม!

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด