usearch binary

Contoh pencarian vektor biner untuk USEARCH

Repositori ini berisi contoh untuk membangun indikasi pencarian vektor biner untuk embedding wikipedia yang tersedia di portal pelukan permukaan:

• Berpadu
• Mixedbread.ai

Contoh menjalankan

Untuk melihat hasilnya, lihat bench.ipynb . Untuk mereplikasi hasilnya, pertama, unduh data:

$ pip install -r requirements.txt
$ python download.py
$ ls -alh mixedbread | head -n 1
> total 15G
$ ls -alh cohere | head -n 1
> total 15G

Dalam kedua kasus, embedding memiliki 1024 dimensi, masing-masing diwakili dengan satu bit, dikemas ke dalam vektor 128-byte. 32 GBS RAM disarankan untuk menjalankan skrip.

Optimisasi

Mengetahui panjang embedding sangat berguna untuk optimisasi. Jika embeddings hanya 1024 bit, kita hanya perlu 2 ZMM register untuk menyimpan seluruh vektor. Kami tidak membutuhkan apa pun for -loops, maka seluruh operasi dapat dibuka dan dilapisi.

 inline uint64_t hamming_distance ( uint8_t const * first_vector , uint8_t const * second_vector ) {
    __m512i const first_start = _mm512_loadu_si512 (( __m512i const * )( first_vector ));
    __m512i const first_end = _mm512_loadu_si512 (( __m512i const * )( first_vector + 64 ));
    __m512i const second_start = _mm512_loadu_si512 (( __m512i const * )( second_vector ));
    __m512i const second_end = _mm512_loadu_si512 (( __m512i const * )( second_vector + 64 ));
    __m512i const differences_start = _mm512_xor_epi64 ( first_start , second_start );
    __m512i const differences_end = _mm512_xor_epi64 ( first_end , second_end );
    __m512i const population_start = _mm512_popcnt_epi64 ( differences_start );
    __m512i const population_end = _mm512_popcnt_epi64 ( differences_end );
    __m512i const population = _mm512_add_epi64 ( population_start , population_end );
    return _mm512_reduce_add_epi64 ( population );
}

Untuk menjalankan tolok ukur kernel, gunakan perintah berikut:

$ python kernel.py

Untuk menjalankan tolok ukur atas data nyata:

$ python kernels.py --dir cohere --limit 1e6