YAECL Yet Another Entropy Coding Library

YAECL：另一個用於神經壓縮研究的熵編碼庫

快速啟動（Python> = 3.6）

pip install yaecl==0.0.1

 import yaecl

動機

• YAECL是一種算術編碼，不對稱的數字系統庫僅支持C ++標頭和Python。它是為希望使用Python輕鬆訪問具有良好效率的不同類型的編碼算法（FIFO，FILO）的神經壓縮（圖像，視頻，點雲等）的研究人員而設計的。它也適用於需要統一圖書館Cross Python和C ++的理想行業研究人員。

	平台	編碼算法	編碼模式	CDF模式	CDF精密CTRL	編解碼器精密CTRL
yaecl	C ++標頭，Python	AC，蘭斯	1x1,1xn，nxn	int（任何w）	是的	是的
收縮	銹，python	霍夫曼（Huffman），Range，Rans	1x1,1xn，nxn	漂浮	不	不
沃奇克	Python（火炬）	交流	NXN	Float，INT16	不	不
Nayuki	C ++，Python，Java	交流	1x1	Uint32	是的	是的
ryg_rans	C標題	蘭斯	1x1	Uint32	是的	不
渦輪	C/C ++	範圍，交流，蘭斯	1x1	Float，INT8/16/32	是的	是的

• 參考：
  • 收縮：https：//bamler-lab.github.io/colltication/
  • Torchac：https：//github.com/fab-jul/torchac
  • Nayuki：https：//github.com/nayuki/reference-arithmetic-coding
  • ryg_rans：https：//github.com/rygof/ryg_rans
  • Turbo：https：//github.com/powturbo/turbo-range-coder
• 通過統一的接口，YAECL兩者都支持：
  • 隊列樣式的FIFO編碼用於自動回歸編碼
  • 堆棧stype filo編碼用於折疊的編碼
• 此外，Yaecl具有統一的接口，兩者都支持：
  • 研究用法
  • C ++標題僅用於合理效率的SDK實用部署。
• 此外，具有統一的接口，YAECL支持：
  • 任何精確 /速度折衷的靈活的模板樣式裁縫（您的編譯器支持）
  • 位精度控制
• 此外，使用Python“ MemoryView”和Python“ Buffer Protocal”的統一接口，Yaecl Python支持：
  • 任何支持記憶視圖的框架 / lib，包括python本機列表，numpy
  • 具有高效的IO，因為基本上只有指針在Python和C ++後端之間傳遞
  • 可以與Pytorch和Tensorflow一起有效且可以輕鬆使用Numpy Intermediate
• 此外，Yaecl Python支持：
  • 1符號1 CDF編碼，作為BB-ANS紙
  • n符號1 CDF編碼，作為Google Hyprior中的P（Z）部分
  • n符號n CDF編碼，作為Google-Hyprior中的P（Y | Z）部分

安裝：C ++單曲包括

• 將yaecl.hpp放在您的包含路徑上，然後僅：

  # include " yaecl.hpp "
  using namespace yaecl ;

用法：C ++

• 準備您的符號，請注意符號以0開頭，因此大小為n的字母包含{0，...，n-1}
• 準備您的CDF，請注意，對於n尺寸n的字母，您的CDF應該具有n+1個bin，最後一個bin == 2 ^ cdf_bits
• 例如alphabet = {0，1，2，3，4}，p（i）= 0.2，cdf_bits = 16

   uint32_t cdf_max= ( 1 << 16 );
  uint32_t cdf[ 6 ] = { 0 , 0.2 * cdf_max, 0.4 * cdf_max, 0.6 * cdf_max, 0.8 * cdf_max, cdf_max};

• 要編碼，請調用編碼器的編碼方法：
• 請注意，第一個參數是符號，第二個參數是ptr到cdf，第三個是cdf位或log2（cdf_max_value）

  ArithmeticCodingEncoder< uint64_t , uint32_t > ace=ArithmeticCodingEncoder< uint64_t , uint32_t >( 32 );
  for ( int i= 1 ;i<=test_n;i++) ace.encode(i % 5 , cdf, 16 );
  ace.flush();
  ace.bit_stream.save( " path " ); // optionally

• 編碼完整後，您需要調用齊平，並可選保存位流
• 要啟動解碼器，您需要一點流，要么從encoder / file中

  BitStream bs = ace.bit_stream;
  // BitStream bs; bs.load("path"); 
  ArithmeticCodingDecoder< uint64_t , uint32_t > acd = ArithmeticCodingDecoder< uint64_t , uint32_t >( 32 , bs);
  for ( int i= 1 ;i<=test_n;i++) assert( static_cast < int >(acd.decode( 5 , cdf, 16 )) == i% 5 );

• 請注意，5是字母的數量。您必須在解碼期間提供它
• 有關更多示例，請參閱yaecl_test.cpp，而yaecl.hpp有關更多文檔

安裝：Python

• 由CMAKE和PYBIND11的來源構建：

  mkdir build
  cd build
  cmake ../ -DPYTHON_EXECUTABLE:FILEPATH= $YOUR_PYTHON_BIN -DPYTHON_INCLUDE_DIR:PATH= $YOUR_PYTHON_INCLUDE -DPYTHON_LIBRARY:FILEPATH= $YOUR_PYTHON_LIB
  make -j

• 用conda的cmake命令的示例：

  cmake ../ -DPYTHON_EXECUTABLE:FILEPATH=/home/xx/.conda/envs/yy/bin/python -DPYTHON_INCLUDE_DIR:PATH=/home/xx/.conda/envs/yy/include/python3.10 -DPYTHON_LIBRARY:FILEPATH=/home/xx/.conda/envs/yy/lib/libpython3.10.so

• 這會產生一個庫yaecl.cpython-version-platform。

   import yaecl

用法：Python

• 除了通過符號eN/de Code符號以外，我們為Python提供了額外的包裝器。您可以選擇每個符號每個符號，每個cdf或n符號n cdf的n符號。以下三種方式是等效的：

   cnt = 32 * 48 * 320
  cdf_max = 2 ** 16
  cdf = np . array ([ 0 , 0.2 * cdf_max , 0.4 * cdf_max , 0.6 * cdf_max , 0.8 * cdf_max , cdf_max ], dtype = np . int32 )
  
  # encode symbol by symbol
  ac_enc = yaecl . ac_encoder_t ()
  for i in range ( cnt ):
      ac_enc . encode ( i % 5 , memoryview ( cdf ), 16 )
  ac_enc . flush ()
  
  # encode n x 1
  sym_b = np . array ([ i % 5 for i in range ( cnt )], dtype = np . int32 )
  symd_b = np . array ([ 0 for _ in range ( cnt )], dtype = np . int32 )
  ac_enc = yaecl . ac_encoder_t ()
  ac_enc . encode_nx1 ( sym_b , memoryview ( cdf ), 16 )
  ac_enc . flush ()
  
  # encode n x n
  sym_b = np . array ([ i % 5 for i in range ( cnt )], dtype = np . int32 )
  cdf_b = np . array ([ cdf for _ in range ( cnt )], dtype = np . int32 )
  ac_enc = yaecl . ac_encoder_t ()
  ac_enc . encode_nxn ( sym_b , cdf_b , 16 )
  ac_enc . flush ()

  • 解碼器也發生了同樣的事情。重要的是要注意1x1解碼返回符號，但是NX1解碼和NXN解碼要求用戶傳遞緩衝區以保持解碼的符號

   # decode 1 x 1
  ac_dec = yaecl . ac_decoder_t ( ac_enc . bit_stream )
  for i in range ( cnt ):
      de_sym = ac_dec . decode ( 5 , memoryview ( cdf ), 16 )
  
  # decode n x n
  symd_b = np . array ([ 0 for _ in range ( cnt )], dtype = np . int32 )
  ac_dec = yaecl . ac_decoder_t ( ac_enc . bit_stream )
  ac_dec . decode_nxn ( 5 , memoryview ( cdf_b ), 16 , memoryview ( symd_b ))

• 那些方便的包裝器避免在Python中循環，這是有效的
• 要提出的另一點是，所有類似數組的數據均由MemoryView傳遞，就像指針通過。
  • 在MemoryView上閱讀更多信息：https：//stackoverflow.com/questions/18655648/what-exactly-is-the-point-the-point-of-memoryview-in-python
  • 在MemoryView上了解更多信息：https：//docs.python.org/3/c-api/memoryview.html
  • 在MemoryView上閱讀更多信息：https：//pybind11.readthedocs.io/en/stable/reference.html
• 請參閱yaecl_test.py和yaecl.hpp和yaecl_python.cpp中的更多示例

演算法:

• ArithmeticCodingEncoder和ArithmeticCodingDecoder緊密遵循Witten，IH，Neal，RM和Cleary，JG（1987）的參考代碼。算術編碼用於數據壓縮。 ACM的通信，30（6），520-540。 。此外，它還受到https://marknelson.us/posts/2014/10/10/19/data-compression-with-arith-arithmetic-coding.html的先前實現的啟發。斷言檢查主要來自https://github.com/nayuki/reference-arithmetic-coding中的先前實現。
• Ranscodec整合了先前在Townsend，J。 ，Bird，T。和Barber，D。 （2019）的實施。實用的無損壓縮，使用BITS返回編碼的潛在變量。 ARXIV預印ARXIV：1901.04866。 and https://github.com/rygorof/ryg_rans

參考

• 如果您在論文中使用此解放，請引用我們的論文：

   @article{xu2022bit,
  title={Bit allocation using optimization},
  author={Xu, Tongda and Gao, Han and Gao, Chenjian and Pi, Jinyong and Li, Yanghao and Wang, Yuanyuan and Zhu, Ziyu and He, Dailan and Ye, Mao and Qin, Hongwei and others},
  journal={arXiv preprint arXiv:2209.09422},
  year={2022}
  }