ANNS

Использование библиотеки ANNS

Это очень простая библиотека алгоритмов Anns Sota. Он написан в стандартном либарарии C ++/C ++ и может использоваться для строительства и запроса индекса точек в высоком пространстве. Библиотека предоставляет множество алгоритмов для построения и запроса индекса. Библиотека предназначена для простых в использовании и для обеспечения относительно высокой производительности.

Это очень полезный инструмент для создания своего собственного алогритма ANNS без особых усилий.

C ++ версия

Это пример того, как использовать библиотеку ANNS для создания и запроса индекса.

  DataSetWrapper< data_t > base, query;
  GroundTruth gt;
  base.load( " data/sift-128-euclidean.train.fvecs " );
  query.load( " data/sift-128-euclidean.test.fvecs " );
  gt.load( " data/sift-128-euclidean.cover.uniform-0-1.ivecs " );

  const size_t k = 1 ;
  utils::Timer timer;

  // build index
  HNSW< data_t , metrics::euclidean> index ( 32 , 128 );
  index.set_num_threads( 24 ); 
  timer.start();
  index.build(base);
  timer.stop();
  cout << " Build time: " << timer.get() << endl;

  // query with different parameters
  ofstream out ( " hnsw_postfilter.csv " );
  for ( size_t ef = 1 ; ef <= 128 ; ef++)
  {
    timer. reset ();
    matrix_id_t knn;
    matrix_di_t dis;
    timer. start ();
    index . search (query, k, ef, knn, dis);
    timer. stop ();
    out << timer. get () << " , " << gt. recall (k, knn) << endl;
  }

Набор данных

Все наборы данных, используемые в этой библиотеке, находятся в VEC -Format, которые вы можете скачать отсюда. Я построил фреймворк -базу на Ann -Benchmark, чтобы загрузить наборы данных и преобразовать их в VEC -формат. Вы можете найти код в ANNS/DataSet.

Дельта-разработка

Если вы заинтересованы в разработке Delta Anly Algorithm, вы можете удержать из класса на основе индекса и реализовать свой собственный алгоритм для сохранения оригинального API. Например

 template < typename data_t , typename label_t , float (*distance)( const data_t *, const data_t *, size_t )>
  class PostFilterHCNNG : public HCNNG < data_t , distance>
/* ... */