usearch binary

二进制矢量搜索示例

该存储库包含用于构建二进制矢量搜索的示例，指示了wikipedia嵌入在Huggingface Portal上可用的嵌入：

• CO：在这里
• mixhbread.ai

运行示例

要查看结果，请查看bench.ipynb 。要复制结果，首先下载数据：

$ pip install -r requirements.txt
$ python download.py
$ ls -alh mixedbread | head -n 1
> total 15G
$ ls -alh cohere | head -n 1
> total 15G

在这两种情况下，嵌入都有1024个维度，每个维度都用一个位表示，填充到128个字节矢量中。建议使用32 GB的RAM来运行脚本。

优化

知道嵌入的长度非常方便地进行优化。如果嵌入仅长1024位，我们只需要2个ZMM寄存器即可存储整个向量。我们不需要for环，那么整个操作都可以展开和嵌入式。

 inline uint64_t hamming_distance ( uint8_t const * first_vector , uint8_t const * second_vector ) {
    __m512i const first_start = _mm512_loadu_si512 (( __m512i const * )( first_vector ));
    __m512i const first_end = _mm512_loadu_si512 (( __m512i const * )( first_vector + 64 ));
    __m512i const second_start = _mm512_loadu_si512 (( __m512i const * )( second_vector ));
    __m512i const second_end = _mm512_loadu_si512 (( __m512i const * )( second_vector + 64 ));
    __m512i const differences_start = _mm512_xor_epi64 ( first_start , second_start );
    __m512i const differences_end = _mm512_xor_epi64 ( first_end , second_end );
    __m512i const population_start = _mm512_popcnt_epi64 ( differences_start );
    __m512i const population_end = _mm512_popcnt_epi64 ( differences_end );
    __m512i const population = _mm512_add_epi64 ( population_start , population_end );
    return _mm512_reduce_add_epi64 ( population );
}

要运行内核基准，请使用以下命令：

$ python kernel.py

通过实际数据运行基准：

$ python kernels.py --dir cohere --limit 1e6