embeddingcache
1.0.0
استرجاع النصوص النصية ، ولكن تخزينها محليًا إذا قمنا بالفعل بحسابها.
إذا كنت تقوم بعمل حفنة من مهام NLP المختلفة ، أو لديك خط أنابيب NLP واحد ، فستواصل ضبطه ، ربما لا ترغب في إعادة حساب التضمينات. وبالتالي ، نحن ذاكرة التخزين المؤقت لهم.
pip install embeddingcache
from embeddingcache.embeddingcache import get_embeddings
embeddings = get_embeddings(
strs=["hi", "I love Berlin."],
embedding_model="all-MiniLM-L6-v2",
db_directory=Path("dbs/"),
verbose=True,
)
نستخدم SQLite3 لتضمينات ذاكرة التخزين المؤقت. [يمكن تكييف هذا بسهولة ، لأننا نستخدم sqlalchemy.]
نحن نفترض الأحمال الثقيلة ، مع كاتب واحد متزامن. (ومع ذلك ، فإننا نحاول أن نرغب في إخفاقات الكتابة.)
نقوم بقذف SQLITE3 في قواعد بيانات: hashstring.db: جدول التجزئة. كل صف عبارة عن تجزئة (مفتاح أساسي فريد) SHA512 للنص (فريد أيضًا). يتم فهرسة كلا الحقولين.
[inmbeddding_model_name] .db: جدول التضمين. كل صف عبارة عن تجزئة (مفتاح أساسي فريد) SHA512 إلى ناقل numpy (float32) 1-dim ، والذي نقوم بتسلسله على الجدول على أنه بايت.
pre-commit install
pip install -e .
pytest
