embeddingcache
1.0.0
ดึงข้อความฝังตัว แต่แคชไว้ในเครื่องหากเราคำนวณแล้ว
หากคุณกำลังทำภารกิจ NLP ที่แตกต่างกันจำนวนหนึ่งหรือมีท่อส่ง NLP เดียวที่คุณยังคงจูนคุณอาจไม่ต้องการคำนวณการฝังตัวใหม่ ดังนั้นเราแคชพวกเขา
pip install embeddingcache
from embeddingcache.embeddingcache import get_embeddings
embeddings = get_embeddings(
strs=["hi", "I love Berlin."],
embedding_model="all-MiniLM-L6-v2",
db_directory=Path("dbs/"),
verbose=True,
)
เราใช้ SQLITE3 เพื่อฝังแคช [สิ่งนี้สามารถปรับได้อย่างง่ายดายเนื่องจากเราใช้ sqlalchemy]
เราถือว่าโหลดหนักอ่านได้พร้อมกับนักเขียนพร้อมกันคนหนึ่ง (อย่างไรก็ตามเราลองใช้ความล้มเหลวในการเขียนอีกครั้ง)
เรา Shard SQLITE3 เป็นสองฐานข้อมูล: HashString.db: ตารางแฮชสตริง แต่ละแถวเป็นแฮช sha512 (เฉพาะที่ไม่ซ้ำกัน) sha512 ไปยังข้อความ (ไม่ซ้ำกัน) ทั้งสองฟิลด์ได้รับการจัดทำดัชนี
[EMBEDDING_MODEL_NAME] .DB: ตารางฝัง แต่ละแถวเป็น (คีย์หลักที่ไม่ซ้ำกัน) sha512 แฮชไปที่เวกเตอร์ numpy 1-dim (float32) ซึ่งเราทำให้เป็นอนุกรมไปยังตารางเป็นไบต์
pre-commit install
pip install -e .
pytest
