ggnn

GGNN: GPU Berbasis Grafik Pencarian tetangga terdekat

*Fabian Groh, Lukas Ruppert, Patrick Wieschollek, Hendrik PA Lensch

Perkiraan pencarian tetangga terdekat (JST) dalam dimensi tinggi adalah bagian integral dari beberapa sistem visi komputer dan mendapatkan kepentingan dalam pembelajaran mendalam dengan representasi memori eksplisit. Karena PQT dan FAISS mulai memanfaatkan paralelisme besar yang ditawarkan oleh GPU, implementasi berbasis GPU adalah sumber yang penting untuk metode JST canggih saat ini. Sementara sebagian besar metode ini memungkinkan kueri yang lebih cepat, lebih sedikit penekanan yang dikhususkan untuk mempercepat konstruksi struktur indeks yang mendasarinya. Dalam makalah ini, kami mengusulkan struktur pencarian baru berdasarkan grafik tetangga terdekat dan perambatan informasi pada grafik. Metode kami dirancang untuk memanfaatkan arsitektur GPU untuk mempercepat bangunan hierarkis dari struktur indeks dan untuk melakukan kueri. Evaluasi empiris menunjukkan bahwa GGNN secara signifikan melampaui sistem berbasis GPU dan CPU yang canggih dalam hal waktu pembangunan, akurasi, dan kecepatan pencarian.

---

UPDATE: 03/14/21

Pekerjaan ini saat ini sedang ditinjau. Kami telah memperbarui kode. Beberapa hasil baru ditunjukkan di bawah ini.

Bagaimana cara menjalankan kode?

 # Get the repository and dependencies
git clone --recursive https://github.com/cgtuebingen/ggnn.git
cd ggnn

# get the SIFT1M data
cd data
./get_sift1m
cd ..

# Build the demo
mkdir build_local
cd build_local
cmake ..
make

# Example for SIFT1M on GPU 0:
./sift1m_multi  --base_filename ../data/sift/sift_base.fvecs 
                --query_filename ../data/sift/sift_query.fvecs 
                --groundtruth_filename ../data/sift/sift_groundtruth.ivecs 
                --gpu_ids= " 0 "

# Example usage with 2 GPUs and 4 shards in total (4x250k = 1M):
./sift1m_multi  --base_filename ../data/sift/sift_base.fvecs 
                --query_filename ../data/sift/sift_query.fvecs 
                --groundtruth_filename ../data/sift/sift_groundtruth.ivecs 
                --gpu_ids= " 0 1 " 
                --factor 10000 
                --base 100 
                --shard 25

Bangunan asli

Persyaratan:

• CUDA (> 10.2)
• libgflags-dev ( sudo apt install libgflags-dev )

Docker Build

Alternatif untuk bangunan asli adalah menggunakan nvidia-docker. Ikuti instruksi di https://docs.nvidia.com/datacenter/cloud-native/container--toolkit/install-guide.html#installing-docker-ce

Siapkan gambar Docker dengan

 cd docker
make
cd ../

Pastikan Anda bisa berlari

sudo docker run --gpus all cgtuebingen/ggnn:v1 nvidia-smi

Sekarang bangun kode melalui

user@host $ sudo docker run --rm -it --user " $( id -u ) : $( id -g ) " -v ${PWD} :/ggnn:rw --gpus all cgtuebingen/ggnn:v1 bash
user@container $ ./build.sh

cd build_docker
make

Lebih banyak sumber daya

• Arxiv pra-cetak