الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تستخدم هذه المكتبة تنسيقًا عالميًا لمجموعات بيانات المتجهات لتصدير واستيراد البيانات بسهولة من جميع قواعد بيانات المتجهات.

اطلب الدعم لـ Vectordb من خلال التصويت/التعليق على هذا الاستطلاع

راجع القسم المساهم لإضافة دعم لقاعدة بيانات المتجه المفضلة لديك.

قواعد بيانات المتجهات المدعومة

مدعوم بالكامل

قاعدة بيانات المتجهات يستورد يصدّر
كوز الصنوبر ✅ ✅
Qdrant ✅ ✅
ميلفوس ✅ ✅
البحث عن ناقلات GCP Vertex AI ✅ ✅
KDB.AI ✅ ✅
locationB ✅ ✅
DataStax Astra DB ✅ ✅
Chroma ✅ ✅
Turbopuffer ✅ ✅
جزئي
قاعدة بيانات المتجهات يستورد يصدّر
في تَقَدم
قاعدة بيانات المتجهات يستورد يصدّر
Azure AI Search
Weaviate
Mongodb أطلس
OpenSearch
أباتشي كاساندرا
txtai
PGVector
SQLITE-VSS
غير مدعوم
قاعدة بيانات المتجهات يستورد يصدّر
فيسبا
Marqo
Elasticsearch
البحث redis
Clickhouse
USEARCH
موسيقى الروك
إبسيلا
Activeloop Deep Lake
APERTUREDB
كبريبل
Meilisearch
Myscale
neo4j
نواة ديسيبل
Oramasearch
الأنواع
أناري AI
فالد
Apache Solr

تثبيت

باستخدام PIP 

pip install vdf-io

من المصدر 

git clone https://github.com/AI-Northstar-Tech/vector-io.git
cd vector-io
pip install -r requirements.txt

مواصفات مجموعة بيانات ناقلات Universal (VDF)

  1. vdf_meta.json: إنه ملف JSON مع المخطط التالي vdfmeta محدد في src/vdf_io/meta_types.py: 
 class NamespaceMeta ( BaseModel ):
    namespace : str
    index_name : str
    total_vector_count : int
    exported_vector_count : int
    dimensions : int
    model_name : str | None = None
    vector_columns : List [ str ] = [ "vector" ]
    data_path : str
    metric : str | None = None
    index_config : Optional [ Dict [ Any , Any ]] = None
    schema_dict : Optional [ Dict [ str , Any ]] = None


class VDFMeta ( BaseModel ):
    version : str
    file_structure : List [ str ]
    author : str
    exported_from : str
    indexes : Dict [ str , List [ NamespaceMeta ]]
    exported_at : str
    id_column : Optional [ str ] = None
  1. ملفات/مجلدات parquet للبيانات الوصفية والمتجهات.

نص التصدير 

export_vdf --help
usage: export_vdf [-h] [-m MODEL_NAME]
                  [--max_file_size MAX_FILE_SIZE]
                  [--push_to_hub | --no-push_to_hub]
                  [--public | --no-public]
                  {pinecone,qdrant,kdbai,milvus,vertexai_vectorsearch}
                  ...

Export data from various vector databases to the VDF format for vector datasets

options:
  -h, --help            show this help message and exit
  -m MODEL_NAME, --model_name MODEL_NAME
                        Name of model used
  --max_file_size MAX_FILE_SIZE
                        Maximum file size in MB (default:
                        1024)
  --push_to_hub, --no-push_to_hub
                        Push to hub
  --public, --no-public
                        Make dataset public (default:
                        False)

Vector Databases:
  Choose the vectors database to export data from

  {pinecone,qdrant,kdbai,milvus,vertexai_vectorsearch}
    pinecone            Export data from Pinecone
    qdrant              Export data from Qdrant
    kdbai               Export data from KDB.AI
    milvus              Export data from Milvus
    vertexai_vectorsearch
                        Export data from Vertex AI Vector
                        Search

استيراد البرنامج النصي 

import_vdf --help
usage: import_vdf [-h] [-d DIR] [-s | --subset | --no-subset]
                  [--create_new | --no-create_new]
                  {milvus,pinecone,qdrant,vertexai_vectorsearch,kdbai}
                  ...

Import data from VDF to a vector database

options:
  -h, --help            show this help message and exit
  -d DIR, --dir DIR     Directory to import
  -s, --subset, --no-subset
                        Import a subset of data (default: False)
  --create_new, --no-create_new
                        Create a new index (default: False)

Vector Databases:
  Choose the vectors database to export data from

  {milvus,pinecone,qdrant,vertexai_vectorsearch,kdbai}
    milvus              Import data to Milvus
    pinecone            Import data to Pinecone
    qdrant              Import data to Qdrant
    vertexai_vectorsearch
                        Import data to Vertex AI Vector Search
    kdbai               Import data to KDB.AI

إعادة صياغة السيناريو

يتم استخدام هذا البرنامج النصي Python لإعادة صياغة مجموعة بيانات المتجهات. يأخذ دليلًا لمجموعة بيانات Vector بتنسيق VDF ويعيد توزيعه باستخدام نموذج جديد. يتيح لك البرنامج النصي أيضًا تحديد اسم العمود الذي يحتوي على نص مضمّن. 

reembed_vdf --help
usage: reembed_vdf [-h] -d DIR [-m NEW_MODEL_NAME]
                  [-t TEXT_COLUMN]

Reembed a vector dataset

options:
  -h, --help            show this help message and exit
  -d DIR, --dir DIR     Directory of vector dataset in
                        the VDF format
  -m NEW_MODEL_NAME, --new_model_name NEW_MODEL_NAME
                        Name of new model to be used
  -t TEXT_COLUMN, --text_column TEXT_COLUMN
                        Name of the column containing
                        text to be embedded

أمثلة 

export_vdf -m hkunlp/instructor-xl --push_to_hub pinecone --environment gcp-starter

import_vdf -d /path/to/vdf/dataset milvus

reembed_vdf -d /path/to/vdf/dataset -m sentence-transformers/all-MiniLM-L6-v2 -t title

اتبع المطالبة لتحديد نطاق الفهرس ومدى المعرف للتصدير.

المساهمة

إضافة قاعدة بيانات متجه جديدة

إذا كنت ترغب في إضافة تطبيق استيراد/تصدير لقاعدة بيانات متجه جديدة ، فيجب عليك أيضًا تنفيذ الجانب الآخر من الاستيراد/التصدير لنفس قاعدة البيانات. يرجى تورك الريبو وإرسال العلاقات العامة لكل من البرامج النصية للاستيراد والتصدير.

خطوات لإضافة قاعدة بيانات ناقلات جديدة (ABC):

  1. أضف اسم قاعدة البيانات الخاص بك في SRC/VDF_IO/NAMES.PY في فئة DBNAMES ENUM.
  2. قم بإنشاء ملفات جديدة src/vdf_io/export_vdf/export_abc.py و src/vdf_io/import_vdf/import_abc.py for db الجديدة.

يصدّر :

  1. في ملف التصدير الخاص بك ، حدد تصدير الفئة الذي يرث من ExportVDF.
  2. حدد db_name_slug للفصل
  3. يجب أن ينفذ الفصل:
    1. وظيفة make_parser () لإضافة وسيطات محددة لقاعدة البيانات إلى export_vdf cli
    2. وظيفة export_vdb () لمطالبة المستخدم للحصول على معلومات غير متوفرة في CLI. يجب بعد ذلك استدعاء وظيفة get_data ().
    3. وظيفة get_data () لتنزيل نقاط (بطريقة مزجدة) مع جميع البيانات الوصفية من الفهرس المحدد لقاعدة بيانات المتجه. يجب تخزين هذه البيانات في سلسلة من ملفات/مجلدات parquet. يجب تخزين البيانات الوصفية في ملف JSON مع المخطط أعلاه.
  4. استخدم البرنامج النصي لتصدير البيانات من فهرس مثال لقاعدة بيانات المتجه والتحقق من تصدير البيانات بشكل صحيح.

يستورد :

  1. في ملف الاستيراد الخاص بك ، حدد فئة eSportabc التي ترث من eSportVDF.
  2. حدد db_name_slug للفصل
  3. يجب أن ينفذ الفصل:
    1. وظيفة make_parser () لإضافة وسيطات محددة لقاعدة البيانات إلى cli import_vdf ، مثل عنوان URL لقاعدة البيانات ، وأي رموز مصادقة ، إلخ.
    2. import_vdb () وظيفة مطالبة المستخدم للحصول على معلومات غير متوفرة في CLI. يجب بعد ذلك استدعاء وظيفة upsert_data ().
    3. وظيفة UPSERT_DATA () لتحميل نقاط من مجموعة بيانات VDF (بطريقة مجزأة) مع جميع البيانات الوصفية إلى الفهرس المحدد لقاعدة بيانات المتجه. يجب قراءة جميع البيانات الوصفية حول مجموعة البيانات من ملف vdf_meta.json في مجلد VDF.
  4. استخدم البرنامج النصي لاستيراد البيانات من مجموعة بيانات VDF مثال تم تصديره في الخطوة السابقة وتحقق من استيراد البيانات بشكل صحيح.

تغيير مواصفات VDF

إذا كنت ترغب في تغيير مواصفات VDF ، فيرجى فتح مشكلة لمناقشة التغيير قبل إرسال العلاقات العامة.

تحسينات الكفاءة

إذا كنت ترغب في تحسين كفاءة البرامج النصية للاستيراد/التصدير ، فيرجى توتر الشباك وإرسال العلاقات العامة.

القياس عن بعد

سيقوم تشغيل البرامج النصية في الريبو بإرسال بيانات الاستخدام المجهولة إلى AI Northstar Tech للمساعدة في تحسين المكتبة.

يمكنك إلغاء الاشتراك في ذلك عن طريق تعيين متغير البيئة DISABLE_TELEMETRY_VECTORIO إلى 1 .

أسئلة

إذا كان لديك أي أسئلة ، يرجى فتح مشكلة على الريبو أو رسالة DHRUV Anand على LinkedIn

المساهمين


Dhruv Anand
؟
جايش راتي

جوردان توتن
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل