mini ivf

Mini IVF (PQ) für Anns

Hallo! Dies ist ein Mini -Spielzeug für IVF (Inverted File Index) sowie seine PQ (Product Quantizer) -Version.

Dieses Repo befindet sich noch in der Entwicklung, aber der grundlegende IVF -Index wird erstellt und gespeichert, und die Abfragefunktionalität wird bereits implementiert.

Sowohl HDF5- als auch .VEC -Datensätze werden unterstützt.

Erfordernis

HDF5 (Parallelmodus eingeschaltet) ist erforderlich

Laden und konfigurieren

wget https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.N/hdf5-1.N.N/src/ < distribution > .tar.gz
gzip -cd < distribution > .tar.gz | tar xvf -

CC=mpicc  CXX=mpicxx 
./configure --prefix=/hdf5/install_path 
--enable-parallel

Kompilieren und installieren

make -j 32
make install -j 32

Kompilieren

mkdir build
cd build
cmake ..
make -j4

Verwendung

Sie können den Datensatz und die Konfiguration in den Tests/test_ivfpq_sift1m_baseline.cpp bearbeiten.

configuration umfasst KC (das k grob Quantizer) ...

test_ivfpq_sift1m_baseline benötigt nprobe ( nprobe <= kc ) aus der Befehlszeile

 cd tests
./test_ivfpq_sift1m_baseline 30