YAECL Yet Another Entropy Coding Library

YAECL Yet Another Entropy Coding Library

AI Исходный код

1.0.0

Скачать

YAECL: Еще одна библиотека кодирования энтропии для исследований нейронного сжатия

Быстрый старт (Python> = 3,6)

pip install yaecl==0.0.1

 import yaecl

Мотивация

YAECL - это арифметическое кодирование и асимметричные системы чисел. Библиотека поддерживает только заголовок C ++ и Python. Он предназначен для исследователей в области нейронного сжатия (изображение, видео, точка облака и т. Д.), Которые хотят использовать Python для легкости доступа к различным типам алгоритмов кодирования (FIFO, FILO) с приличной эффективностью. Это также для желаемых отраслевых исследователей, которым нужен объединенный библиотечный перекрестный Python и C ++.

	Платформа	Кодирование алго	Режим кодирования	CDF -режим	CDF Precision Ctrl	Codec Precision Ctrl
yaecl	C ++ заголовок, Python	AC, Rans	1x1,1xn, nxn	int (любой w)	Да	Да
сужение	Ржавчина, питон	Huffman, Range, Rans	1x1,1xn, nxn	плавать	Нет	Нет
Торчак	Питон (факел)	Атмосфера	nxn	Float, int16	Нет	Нет
Наюки	C ++, Python, Java	Атмосфера	1x1	uint32	Да	Да
ryg_rans	С заголовком	Вырваны	1x1	uint32	Да	Нет
Турбо	C/C ++	Диапазон, AC, Rans	1x1	Float, int8/16/32	Да	Да

Ссылки:
- Сужение: https://bamler-lab.github.io/constriction/
- TORCHAC: https://github.com/fab-jul/torchac
- Nayuki: https://github.com/nayuki/reference-arithmetic-coding
- ryg_rans: https://github.com/rygory/ryg_rans
- Turbo: https://github.com/powturbo/turbo-range-coder
С унифицированным интерфейсом YAECL поддерживает оба:
- Стиль очереди FIFO Кодирование для авторегрессивного кодирования
- Stack Stype Filo кодирование для кодирования Bits Back
Кроме того, с единым интерфейсом, YAECL поддерживает оба:
- Использование Python для исследований
- Заголовок C ++ только для практического развертывания в качестве SDK с разумной эффективностью.
Кроме того, с унифицированным интерфейсом, поддержка YAECL:
- Гибкий шаблонный стиль портной любого компромисса точности / скорости (ваша поддержка компилятора)
- Контроль точности уровня битов
Кроме того, с унифицированным интерфейсом с использованием Python «MemoryView» и Python «протокаль буфера», поддержка Yaecl Python:
- Любая Framework / LIB, поддерживающая память, в том числе нативный список Python, Numpy
- С высокоэффективным IO, поскольку между Python и C ++ проходят только указатели.
- может быть эффективно и легко использовать с Pytorch и Tensorflow с Numpy Intermediate
Кроме того, с единым интерфейсом, поддержка Yaecl Python:
- 1 символ 1 CDF Кодирование, как бумага BB-an
- n символ 1 CDF кодирование, как P (z) часть в Google-Hyperprior
- N Symbol N CDF Кодирование, как часть P (y | z) в Google-Hyperprior

Установка: C ++ сингл включает

Поместите yaecl.hpp на свой путь, тогда просто:
```
# include " yaecl.hpp "
using namespace yaecl ;
```

Использование: C ++

Приготовьте свой символ, обратите внимание, что символ начинается с 0, поэтому алфавит размера n содержит {0, ..., N-1}
Приготовьте свой CDF, обратите внимание, что для алфавита размера n ваш cdf должен иметь n+1 bin, с последним bin == 2 ^ cdf_bits

Например, alphabet = {0, 1, 2, 3, 4}, p (i) = 0,2, cdf_bits = 16

 uint32_t cdf_max= ( 1 << 16 );
uint32_t cdf[ 6 ] = { 0 , 0.2 * cdf_max, 0.4 * cdf_max, 0.6 * cdf_max, 0.8 * cdf_max, cdf_max};

Чтобы кодировать, вызовный метод Encoder Call:

Обратите внимание, что первым аргументом является символ, второй - PTR to CDF, третий - биты CDF или log2 (cdf_max_value)

ArithmeticCodingEncoder< uint64_t , uint32_t > ace=ArithmeticCodingEncoder< uint64_t , uint32_t >( 32 );
for ( int i= 1 ;i<=test_n;i++) ace.encode(i % 5 , cdf, 16 );
ace.flush();
ace.bit_stream.save( " path " ); // optionally

Вам нужно позвонить по промывочному

Чтобы инициировать декодер, вам нужен немного потока, либо из Encoder / File

BitStream bs = ace.bit_stream;
// BitStream bs; bs.load("path"); 
ArithmeticCodingDecoder< uint64_t , uint32_t > acd = ArithmeticCodingDecoder< uint64_t , uint32_t >( 32 , bs);
for ( int i= 1 ;i<=test_n;i++) assert( static_cast < int >(acd.decode( 5 , cdf, 16 )) == i% 5 );

Обратите внимание, что 5 - это количество алфавита. Вы должны предоставить его во время декодирования
Обратитесь к yaecl_test.cpp для получения дополнительных примеров и yaecl.hpp для получения дополнительной информации

Установка: Python

Стройте из источника с Cmake и Pybind11:

mkdir build
cd build
cmake ../ -DPYTHON_EXECUTABLE:FILEPATH= $YOUR_PYTHON_BIN -DPYTHON_INCLUDE_DIR:PATH= $YOUR_PYTHON_INCLUDE -DPYTHON_LIBRARY:FILEPATH= $YOUR_PYTHON_LIB
make -j

Пример команды Cmake с Conda:

cmake ../ -DPYTHON_EXECUTABLE:FILEPATH=/home/xx/.conda/envs/yy/bin/python -DPYTHON_INCLUDE_DIR:PATH=/home/xx/.conda/envs/yy/include/python3.10 -DPYTHON_LIBRARY:FILEPATH=/home/xx/.conda/envs/yy/lib/libpython3.10.so

Это создает библиотеку yaecl.cpython-version-platform.
```
 import yaecl
```

Использование: Python

Мы предоставляем дополнительную обертку для Python, кроме символа En/de Code Symbol. Вы можете выбрать кодирование на символ на PDF, n символ на CDF или N Symbol N CDF. Ниже 3 способа эквивалентны:

 cnt = 32 * 48 * 320
cdf_max = 2 ** 16
cdf = np . array ([ 0 , 0.2 * cdf_max , 0.4 * cdf_max , 0.6 * cdf_max , 0.8 * cdf_max , cdf_max ], dtype = np . int32 )

# encode symbol by symbol
ac_enc = yaecl . ac_encoder_t ()
for i in range ( cnt ):
    ac_enc . encode ( i % 5 , memoryview ( cdf ), 16 )
ac_enc . flush ()

# encode n x 1
sym_b = np . array ([ i % 5 for i in range ( cnt )], dtype = np . int32 )
symd_b = np . array ([ 0 for _ in range ( cnt )], dtype = np . int32 )
ac_enc = yaecl . ac_encoder_t ()
ac_enc . encode_nx1 ( sym_b , memoryview ( cdf ), 16 )
ac_enc . flush ()

# encode n x n
sym_b = np . array ([ i % 5 for i in range ( cnt )], dtype = np . int32 )
cdf_b = np . array ([ cdf for _ in range ( cnt )], dtype = np . int32 )
ac_enc = yaecl . ac_encoder_t ()
ac_enc . encode_nxn ( sym_b , cdf_b , 16 )
ac_enc . flush ()

То же самое происходит с декодером. Важно отметить, что 1x1 декодирует символ возврата, но декодирование NX1 и декодирования NXN требует от пользователя передать буфер для удержания декодированных символов

 # decode 1 x 1
ac_dec = yaecl . ac_decoder_t ( ac_enc . bit_stream )
for i in range ( cnt ):
    de_sym = ac_dec . decode ( 5 , memoryview ( cdf ), 16 )

# decode n x n
symd_b = np . array ([ 0 for _ in range ( cnt )], dtype = np . int32 )
ac_dec = yaecl . ac_decoder_t ( ac_enc . bit_stream )
ac_dec . decode_nxn ( 5 , memoryview ( cdf_b ), 16 , memoryview ( symd_b ))

Эти удобные обертки избегают петли в Python, что эффективно
Еще один момент, который нужно сделать, заключается в том, что все массивные данные передаются MemoryView, вроде как проход по указателю.
- Подробнее о MemoryView: https://stackoverflow.com/questions/18655648/what-exactly-is-the-point-ofmemoryview-in-python
- Подробнее о MemoryView: https://docs.python.org/3/c-api/memoryview.html
- Подробнее о памяти: https://pybind11.readthedocs.io/en/stable/reference.html
См. Больше примеров в yaecl_test.py и yaecl.hpp и yaecl_python.cpp

Алгоритм:

Arithmeticcodingencoder и ArithmeticcodingDecoder пристально следуют за справочным кодом из бумаги Witten, IH, Neal, RM, & Cleary, JG (1987). Арифметическое кодирование для сжатия данных. Связь ACM, 30 (6), 520-540. Полем Кроме того, он также вдохновлен предыдущей реализацией в https://marknelson.us/posts/2014/10/19/data-compression-with-arithmetic-coding.html. Утверждения проверяются в основном из предыдущей реализации в https://github.com/nayuki/reference-arithmetic-coding.
Ranscodec объединяет предыдущую реализацию в Таунсенде, Дж., Берд, Т. и Барбер Д. (2019). Практическое сжатие без потерь с скрытыми переменными с использованием кодирования битов. Arxiv Preprint arxiv: 1901.04866. и https://github.com/rygory/ryg_rans

Ссылка

Если вы используете эту LIB в своей статье, процитируйте нашу статью:

 @article{xu2022bit,
title={Bit allocation using optimization},
author={Xu, Tongda and Gao, Han and Gao, Chenjian and Pi, Jinyong and Li, Yanghao and Wang, Yuanyuan and Zhu, Ziyu and He, Dailan and Ye, Mao and Qin, Hongwei and others},
journal={arXiv preprint arXiv:2209.09422},
year={2022}
}

Расширять

Дополнительная информация