ดาวน์โหลด sifts - ดาวน์โหลดซอร์สโค้ด sifts

sifts

ซอร์สโค้ดอื่น ๆ

v1.0.0

ดาวน์โหลด

SIFTS - การค้นหาข้อความแบบเต็มและความหมายแบบง่าย ๆ

- SIFTS เป็นแพ็คเกจ Python ที่เรียบง่าย แต่ทรงพลังสำหรับการจัดการและสอบถามคอลเลกชันเอกสารพร้อมการสนับสนุนสำหรับฐานข้อมูล SQLite และ PostgreSQL

มันถูกออกแบบมาเพื่อจัดการการค้นหาข้อความเต็มรูปแบบและการค้นหาเวกเตอร์อย่างมีประสิทธิภาพทำให้เหมาะสำหรับแอปพลิเคชันที่เกี่ยวข้องกับการดึงข้อมูลข้อความขนาดใหญ่

คุณสมบัติ

การสนับสนุนฐานข้อมูลคู่ : SIFTS ทำงานร่วมกับทั้ง SQLITE และ PostgreSQL นำเสนอความเรียบง่ายของ SQLite สำหรับแอปพลิเคชันที่มีน้ำหนักเบาและความสามารถในการปรับขนาดของ PostgreSQL สำหรับสภาพแวดล้อมที่มีขนาดใหญ่ขึ้น
การค้นหาข้อความแบบเต็ม (FTS) : ดำเนินการค้นหาข้อความขั้นสูงด้วยการสนับสนุนการค้นหาข้อความแบบเต็ม
การค้นหาเวกเตอร์ : รวมเข้ากับแบบจำลองการฝังเพื่อทำการค้นหาความคล้ายคลึงกันแบบเวกเตอร์ซึ่งเหมาะสำหรับแอปพลิเคชันที่เกี่ยวข้องกับการประมวลผลภาษาธรรมชาติ
การสืบค้นที่ยืดหยุ่น : รองรับการสืบค้นที่ซับซ้อนด้วยการกรองการสั่งซื้อและการแบ่งหน้า

พื้นหลัง

แนวคิดหลักของ SIFTS คือการใช้ประโยชน์จากความสามารถในการค้นหาข้อความแบบเต็มในตัวใน SQLite และ PostgreSQL และเพื่อให้สามารถใช้งานได้ผ่าน API Pythonic ที่เป็นเอกภาพ คุณสามารถใช้ SQLite สำหรับโครงการขนาดเล็กหรือการพัฒนาและเปลี่ยนเป็น PostgreSQL เล็กน้อยเพื่อขยายแอปพลิเคชันของคุณ

สำหรับการค้นหาเวกเตอร์ความคล้ายคลึงกันของโคไซน์จะคำนวณใน PostgreSQL ผ่านส่วนขยาย PGVector ในขณะที่มีความคล้ายคลึงกันของ SQLite ในหน่วยความจำ

SIFTS ไม่ได้มาพร้อมกับโหมดเซิร์ฟเวอร์เนื่องจากมีความหมายว่าเป็นไลบรารีที่จะนำเข้าโดยแอพอื่น ๆ แรงจูงใจดั้งเดิมสำหรับการพัฒนาคือการแทนที่ whaosh เป็นแบ็กเอนด์ค้นหาในเว็บ Gramps ซึ่งขึ้นอยู่กับ Flask

การติดตั้ง

คุณสามารถติดตั้ง sifts ผ่าน PIP:

pip install sifts

การใช้งาน

การค้นหาข้อความแบบเต็ม

 import sifts

# by default, creates a new SQLite database in the working directory
collection = sifts . Collection ( name = "my_collection" )

# Add docs to the index. Can also update and delete.
collection . add (
    documents = [ "Lorem ipsum dolor" , "sit amet" ],
    metadatas = [{ "foo" : "bar" }, { "foo" : "baz" }], # otpional, can filter on these
    ids = [ "doc1" , "doc2" ], # unique for each doc. Uses UUIDs if omitted
)

results = collection . query (
    "Lorem" ,
    # limit=2,  # optionally limit the number of results
    # where={"foo": "bar"},  # optional filter
    # order_by="foo",  # sort by metadata key (rather than rank)
)

API ได้รับแรงบันดาลใจจาก Chroma

ไวยากรณ์การค้นหาข้อความแบบเต็ม

SIFTS รองรับไวยากรณ์การค้นหาต่อไปนี้:

ค้นหาคำแต่ละคำ
ค้นหาหลายคำ (จะตรงกับเอกสารที่มีคำทั้งหมด)
and ผู้ประกอบการ
or ผู้ประกอบการ
* WildCard (ใน SQLite รองรับทุกที่ในคำค้นหาใน postgreSQL เฉพาะในตอนท้ายของคำค้นหา)

ไวยากรณ์การค้นหาเหมือนกันโดยไม่คำนึงถึงแบ็กเอนด์

การค้นหาเวกเตอร์ (การค้นหาความหมาย)

SIFTS ยังสามารถใช้เป็นร้านค้าเวกเตอร์ที่ใช้สำหรับเครื่องมือค้นหาความหมายหรือการเรียกคืนการรวม (RAG) ที่มีรูปแบบภาษาขนาดใหญ่ (LLMS)

เพียงส่งผ่าน embedding_function ไปยังโรงงาน Collection เพื่อเปิดใช้งานที่เก็บเวกเตอร์และตั้งค่า vector_search=True ในวิธีการสืบค้น ตัวอย่างเช่นการใช้ไลบรารี Transformers ประโยค

 from sentence_transformers import SentenceTransformer

model = SentenceTransformer ( "intfloat/multilingual-e5-small" )

def embedding_function ( queries : list [ str ]):
    return model . encode ( queries )

collection = sifts . Collection (
    db_url = "sqlite:///vector_store.db" ,
    name = "my_vector_store" ,
    embedding_function = embedding_function
)

# Adding vector data to the collection
collection . add ([ "This is a test sentence." , "Another example query." ])

# Querying the collection with semantic search
results = collection . query ( "Find similar sentences." , vector_search = True )

คอลเลกชัน PostgreSQL จำเป็นต้องมีการติดตั้งและเปิดใช้งานส่วนขยาย pgvector

อัปเดตและลบเอกสาร

เอกสารสามารถอัปเดตหรือลบได้โดยใช้ ID ของพวกเขา

 # Update a document
collection . update ( ids = [ "document_id" ], contents = [ "Updated content" ])

# Delete a document
collection . delete ( ids = [ "document_id" ])