usearch binary

أمثلة البحث الثنائي المتجه لـ USEARCH

يحتوي هذا المستودع على أمثلة لإنشاء مؤشرات بحثية ثنائية للتضمينات لتضمينات ويكيبيديا المتوفرة على بوابة Luggingface:

• التحم
• mixedbread.ai

أمثلة تشغيل

لعرض النتائج ، تحقق من bench.ipynb . لتكرار النتائج ، أولاً ، قم بتنزيل البيانات:

$ pip install -r requirements.txt
$ python download.py
$ ls -alh mixedbread | head -n 1
> total 15G
$ ls -alh cohere | head -n 1
> total 15G

في كلتا الحالتين ، يكون للتضمينات 1024 أبعاد ، كل منها ممثلة بتضليل واحد ، معبأة في ناقلات 128 بايت. ينصح 32 جم من ذاكرة الوصول العشوائي لتشغيل النصوص.

التحسينات

معرفة طول التضمينات مفيدة للغاية لتحسين التحسينات. إذا كانت التضمينات طولها 1024 بت فقط ، فنحن بحاجة فقط إلى سجلين ZMM لتخزين المتجه بأكمله. لا نحتاج for أي شيء ، ثم يمكن إلغاء العملية بأكملها.

 inline uint64_t hamming_distance ( uint8_t const * first_vector , uint8_t const * second_vector ) {
    __m512i const first_start = _mm512_loadu_si512 (( __m512i const * )( first_vector ));
    __m512i const first_end = _mm512_loadu_si512 (( __m512i const * )( first_vector + 64 ));
    __m512i const second_start = _mm512_loadu_si512 (( __m512i const * )( second_vector ));
    __m512i const second_end = _mm512_loadu_si512 (( __m512i const * )( second_vector + 64 ));
    __m512i const differences_start = _mm512_xor_epi64 ( first_start , second_start );
    __m512i const differences_end = _mm512_xor_epi64 ( first_end , second_end );
    __m512i const population_start = _mm512_popcnt_epi64 ( differences_start );
    __m512i const population_end = _mm512_popcnt_epi64 ( differences_end );
    __m512i const population = _mm512_add_epi64 ( population_start , population_end );
    return _mm512_reduce_add_epi64 ( population );
}

لتشغيل معايير kernel ، استخدم الأمر التالي:

$ python kernel.py

لتشغيل المعايير على البيانات الحقيقية:

$ python kernels.py --dir cohere --limit 1e6