ANNS

Anns Libraryの使用

これは、ANNS SOTAアルゴリズムの非常に基本的なライブラリです。 C ++/C ++標準のLibararyで記述されており、高次元空間でポイントのインデックスを構築および照会するために使用できます。ライブラリは、インデックスの構築とクエリのためのさまざまなアルゴリズムを提供します。ライブラリは、使いやすく、比較的高いパフォーマンスを提供できるように設計されています。

これは、あまり労力をかけずに独自のANNSインデックスALOGRITHMを構築するための非常に便利なツールです。

C ++バージョン

これは、ANNSライブラリを使用してインデックスを構築および照会する方法の例です。

  DataSetWrapper< data_t > base, query;
  GroundTruth gt;
  base.load( " data/sift-128-euclidean.train.fvecs " );
  query.load( " data/sift-128-euclidean.test.fvecs " );
  gt.load( " data/sift-128-euclidean.cover.uniform-0-1.ivecs " );

  const size_t k = 1 ;
  utils::Timer timer;

  // build index
  HNSW< data_t , metrics::euclidean> index ( 32 , 128 );
  index.set_num_threads( 24 ); 
  timer.start();
  index.build(base);
  timer.stop();
  cout << " Build time: " << timer.get() << endl;

  // query with different parameters
  ofstream out ( " hnsw_postfilter.csv " );
  for ( size_t ef = 1 ; ef <= 128 ; ef++)
  {
    timer. reset ();
    matrix_id_t knn;
    matrix_di_t dis;
    timer. start ();
    index . search (query, k, ef, knn, dis);
    timer. stop ();
    out << timer. get () << " , " << gt. recall (k, knn) << endl;
  }

データセット

このライブラリで使用されるすべてのデータセットは、 VECS -FORMATにあり、こちらからダウンロードできます。 ANNベンチマークにフレームワークベースを構築し、データセットをダウンロードしてVECS -Formatに変換しました。 ANNS/DATASETでコードを見つけることができます。

デルタ開発

ANNアルゴリズムのデルタ開発に興味がある場合は、インデックスベースのクラスから吸入して、独自のアルゴリズムを実装して元のAPIを保持できます。例えば

 template < typename data_t , typename label_t , float (*distance)( const data_t *, const data_t *, size_t )>
  class PostFilterHCNNG : public HCNNG < data_t , distance>
/* ... */