首页>编程相关>其他源码
下载

该库对矢量数据集使用通用格式，以轻松从所有矢量数据库中导出和导入数据。

通过对此民意调查的投票/评论要求对VectordB的支持

请参阅贡献部分，以增加对您喜欢的矢量数据库的支持。

支持的矢量数据库

完全支持

向量数据库进口出口
松果✅ ✅
QDRANT ✅ ✅
米尔维斯✅ ✅
GCP顶点AI矢量搜索✅ ✅
kdb.ai ✅ ✅
Lancedb ✅ ✅
DataStax Astra DB ✅ ✅
色度✅ ✅
涡轮机✅ ✅
部分的
向量数据库进口出口
进行中
向量数据库进口出口
Azure AI搜索
编织
Mongodb地图集
OpenSearch
Apache Cassandra
TXTAI
PGVECTOR
sqlite-vss
不支持
向量数据库进口出口
Vespa
马克
Elasticsearch
REDIS搜索
Clickhouse
usearch
岩石
Epsilla
Activeloop Deep Lake
AperturedB
板条
Meilisearch
myscale
neo4j
核DB
Oramasearch
typessense
Anari ai
山谷
Apache Solr

安装

使用PIP 

pip install vdf-io

来自来源

git clone https://github.com/AI-Northstar-Tech/vector-io.git
cd vector-io
pip install -r requirements.txt

通用矢量数据集格式（VDF）规范

  1. VDF_META.JSON：它是一个JSON文件，具有以下架构VDFMeta在src/vdf_io/meta_types.py中定义的vdfmeta：py： 
 class NamespaceMeta ( BaseModel ):
    namespace : str
    index_name : str
    total_vector_count : int
    exported_vector_count : int
    dimensions : int
    model_name : str | None = None
    vector_columns : List [ str ] = [ "vector" ]
    data_path : str
    metric : str | None = None
    index_config : Optional [ Dict [ Any , Any ]] = None
    schema_dict : Optional [ Dict [ str , Any ]] = None


class VDFMeta ( BaseModel ):
    version : str
    file_structure : List [ str ]
    author : str
    exported_from : str
    indexes : Dict [ str , List [ NamespaceMeta ]]
    exported_at : str
    id_column : Optional [ str ] = None
  1. 用于元数据和向量的镶木文件/文件夹。

导出脚本

export_vdf --help
usage: export_vdf [-h] [-m MODEL_NAME]
                  [--max_file_size MAX_FILE_SIZE]
                  [--push_to_hub | --no-push_to_hub]
                  [--public | --no-public]
                  {pinecone,qdrant,kdbai,milvus,vertexai_vectorsearch}
                  ...

Export data from various vector databases to the VDF format for vector datasets

options:
  -h, --help            show this help message and exit
  -m MODEL_NAME, --model_name MODEL_NAME
                        Name of model used
  --max_file_size MAX_FILE_SIZE
                        Maximum file size in MB (default:
                        1024)
  --push_to_hub, --no-push_to_hub
                        Push to hub
  --public, --no-public
                        Make dataset public (default:
                        False)

Vector Databases:
  Choose the vectors database to export data from

  {pinecone,qdrant,kdbai,milvus,vertexai_vectorsearch}
    pinecone            Export data from Pinecone
    qdrant              Export data from Qdrant
    kdbai               Export data from KDB.AI
    milvus              Export data from Milvus
    vertexai_vectorsearch
                        Export data from Vertex AI Vector
                        Search

导入脚本

import_vdf --help
usage: import_vdf [-h] [-d DIR] [-s | --subset | --no-subset]
                  [--create_new | --no-create_new]
                  {milvus,pinecone,qdrant,vertexai_vectorsearch,kdbai}
                  ...

Import data from VDF to a vector database

options:
  -h, --help            show this help message and exit
  -d DIR, --dir DIR     Directory to import
  -s, --subset, --no-subset
                        Import a subset of data (default: False)
  --create_new, --no-create_new
                        Create a new index (default: False)

Vector Databases:
  Choose the vectors database to export data from

  {milvus,pinecone,qdrant,vertexai_vectorsearch,kdbai}
    milvus              Import data to Milvus
    pinecone            Import data to Pinecone
    qdrant              Import data to Qdrant
    vertexai_vectorsearch
                        Import data to Vertex AI Vector Search
    kdbai               Import data to KDB.AI

重新安装脚本

此Python脚本用于重新安装矢量数据集。它采用VDF格式的向量数据集的目录，并使用新模型重新安装它。该脚本还允许您指定包含文本的列的名称。 

reembed_vdf --help
usage: reembed_vdf [-h] -d DIR [-m NEW_MODEL_NAME]
                  [-t TEXT_COLUMN]

Reembed a vector dataset

options:
  -h, --help            show this help message and exit
  -d DIR, --dir DIR     Directory of vector dataset in
                        the VDF format
  -m NEW_MODEL_NAME, --new_model_name NEW_MODEL_NAME
                        Name of new model to be used
  -t TEXT_COLUMN, --text_column TEXT_COLUMN
                        Name of the column containing
                        text to be embedded

例子

export_vdf -m hkunlp/instructor-xl --push_to_hub pinecone --environment gcp-starter

import_vdf -d /path/to/vdf/dataset milvus

reembed_vdf -d /path/to/vdf/dataset -m sentence-transformers/all-MiniLM-L6-v2 -t title

请按照提示选择要导出的索引和ID范围。

贡献

添加新的矢量数据库

如果您希望为新的矢量数据库添加导入/导出实现，则还必须为同一数据库实现导入/导出的另一面。请分配存储库，并为进出导出脚本发送PR。

添加新的矢量数据库（ABC）的步骤：

  1. 在dbnames枚举类中添加您的数据库名称。
  2. 创建新文件src/vdf_io/export_vdf/export_abc.py和src/vdf_io/import_vdf/import_abc.py for New DB。

出口：

  1. 在您的导出文件中，定义从ExportVDF继承的类ExportABC。
  2. 为课程指定DB_NAME_SLUG
  3. 班级应实施：
    1. make_parser（）函数以将数据库特定参数添加到export_vdf cli
    2. export_vdb（）函数以提示用户获取CLI中未提供的信息。然后，它应调用get_data（）函数。
    3. get_data（）函数从vector数据库的指定索引中使用所有元数据下载点（以批处理方式）。这些数据应存储在一系列的镶木式文件/文件夹中。元数据应存储在带有上面模式的JSON文件中。
  4. 使用脚本从矢量数据库的示例索引导出数据，并验证数据是否正确导出。

进口：

  1. 在您的导入文件中，定义从importvdf继承的类importabc。
  2. 为课程指定DB_NAME_SLUG
  3. 班级应实施：
    1. sake_parser（）函数将数据库特定参数添加到导入cli，例如数据库的URL，任何身份验证令牌，等等。
    2. import_vdb（）函数以提示用户获取CLI中未提供的信息。然后，它应调用UPSERT_DATA（）函数。
    3. UPSERT_DATA（）函数从VDF数据集（以批处理方式）上传点，并将所有元数据带到Vector数据库的指定索引。有关数据集的所有元数据都应从VDF文件夹中的vdf_meta.json文件中读取。
  4. 使用脚本从上一步中导出的示例VDF数据集导入数据，并验证数据是否正确导入。

更改VDF规范

如果您想更改VDF规范，请在发送PR之前打开问题以讨论更改。

提高效率

如果您想提高进出口脚本的效率，请分配存储库并发送PR。

遥测

在存储库中运行脚本将向AI Northstar Tech发送匿名用法数据，以帮助改善库。

您可以通过将环境变量DISABLE_TELEMETRY_VECTORIO设置为1来选择退出。

问题

如有任何疑问，请在LinkedIn上的回购或消息Dhruv Anand上打开问题

贡献者


达鲁·阿南德（Dhruv Anand）
？
Jayesh Rathi

乔丹·托特
展开
附加信息
相关应用
为您推荐
相关资讯 全部