encoding_rs

Encoding_rs

Encoding_RS Реализация (не Javascript Parts of) стандарта кодирования, написанного в ржавчине.

Стандарт кодирования определяет веб-совместимый набор кодировки символов, что означает, что этот ящик может использоваться для декодирования веб-контента. Encoding_RS используется в гекконе, начиная с Firefox 56. Из-за заметного совпадения между устаревшими кодировками в Интернете и устаревшими кодировками, используемыми в Windows, этот ящик может использоваться и для не связанных с WEB ситуаций; Смотрите ниже ссылки на соседние ящики.

Кроме того, модуль mem обеспечивает различные операции для работы с текстом в RAM (в отличие от данных, которые поступают или переходят на границу IO). mem модуль представляет собой модуль вместо отдельного ящика из -за эффективности внутренней реализации.

Функциональность

В связи с вариантом использования геккона, Encoding_RS поддерживает декодирование и кодировку от UTF-16 в дополнение к тому, чтобы поддержать обычный случай использования ржавчины и кодировки от UTF-8. Кроме того, API был разработан, чтобы быть FFI-дружественным, чтобы приспособить сторону C ++ Gecko.

В частности, Encoding_RS делает следующее:

• Декодирует поток байтов в кодирующем стандартно-определенном символе, кодирующем в допустимых выровненных нативных индиана UTF-16 (единицы u16 / char16_t ).
• Кодирует поток потенциально инвалидов, выровненного нативного индиана UTF-16 (единиц u16 / char16_t ) в последовательность байтов в кодирующем стандартно определяемом символе, как если бы одинокие суррогаты были заменены заменяющим символом перед выполнением экодирования. (Gecko's UTF-16 потенциально недействителен.)
• Декодирует поток байтов в кодирующем стандартно-определенном символе, кодирующем в действительном UTF-8.
• Кодирует поток достоверного UTF-8 в последовательность байтов в кодирующем стандартно-определенном кодировании символов. (Rust's UTF-8 имеет гарантированную стоимость.)
• Делается ли выше в потоковой (входной и выходной и выходной сигналах на нескольких буферах) и без потокового (всего ввода в одном буфере и целых выходных вариантах в одном буфере).
• Избегает копирования (заимствуя), когда это возможно, в не потоковых случаях при декодировании или кодировании из UTF-8.
• Разрешает текстовые этикетки, которые идентифицируют кодирования символов в тексте протокола в объекты-безопасных типа, представляющие эти концептуальные кодировки.
• Карты, безопасные для типов объектов кодирования на строки, подходящие для возвращения из document.characterSet .
• Утверждает UTF-8 (в общих сценариях набора инструкций немного быстрее для веб-нагрузки, чем стандартная библиотека; надеюсь, когда-нибудь вверх по течению) и ASCII.

Кроме того, encoding_rs::mem делает следующее:

• Проверяет, содержит ли байтовый буфер только ASCII.
• Проверяет, содержит ли потенциально инвалидный буфер UTF-16 содержит только базовые латыни (ASCII).
• Проверяет, есть ли действительный UTF-8, потенциально-инвалидный UTF-8 или потенциально инвалидный буфер UTF-16 содержит только кодовые точки Latin1 (ниже U+0100).
• Проверяет, действительно ли действительный UTF-8, потенциально-инвалидный UTF-8 или потенциально-инвалидный буфер UTF-16 или кодовая точка или кодовая единица UTF-16, может инициировать поведение правого к лебку (подходящее для проверки, если может быть оптимизирован алгоритм двунаправления Unicode).
• Комбинированные версии вышеупомянутых двух проверок.
• Преобразует действительный UTF-8, потенциально-инвалидный UTF-8 и Latin1 в UTF-16.
• Преобразует потенциально инвалидный UTF-16 и Latin1 в UTF-8.
• Преобразует UTF-8 и UTF-16 в Latin1 (если в диапазоне).
• Находит первый неверный кодовый блок в буфере потенциально инвалидной UTF-16.
• Делает измененный буфер потенциального инвалида UTF-16 содержит допустимый UTF-16.
• Копии ASCII из одного буфера в другой до первого байта не ASCII.
• Преобразует ASCII в UTF-16 до первого байта без ASCII.
• Преобразует UTF-16 в ASCII до первого не базового латинского кода.

Интеграция со std::io

Примечательно, что приведенный выше список функций не включает в себя возможность обернуть std::io::Read , декодировать его в UTF-8 и представить результат через std::io::Read . Ящик encoding_rs_io предоставляет эту возможность.

no_std среда

Ящик работает в среде no_std . По умолчанию функция alloc , которая предполагает, что присутствует распределитель. Для среды без распределения функции по умолчанию (т.е. alloc ) могут быть отключены. Это делает часть API, которая возвращает Vec / String / Cow недоступной.

Декодирование электронной почты

Для декодирования кодировки символов, которые встречаются в электронной почте, используйте ящик charset вместо использования этого напрямую. (Он завершает этот ящик и добавляет декодирование UTF-7.)

Сопоставления идентификации кода Windows

Для отображений с идентификаторами кода Windows и из кодового кода используйте ящик codepage .

DOS -кодирования

Этот ящик не поддерживает однобайтные кодировки DOS, которые не требуются веб-платформой, но ящик oem_cp делает.

Подготовка текста для кодеров

Нормализация текста в форму нормализации Unicode C Перед кодированием текста в устаревшее кодирование сводит к минимуму неподвижные символы. Текст может быть нормализован до формы нормализации Unicode C, используя ящик icu_normalizer .

Исключением является Windows-1258, которая после нормализации до формы нормализации Unicode C, требует разложения тональных знаков, чтобы минимизировать непоколебимые символы. Вьетнамские тональные знаки могут быть разложены с использованием ящика detone .

Лицензирование

TL; DR: (Apache-2.0 OR MIT) AND BSD-3-Clause для комбинации кода и данных.

Пожалуйста, смотрите файл с именем Copyright.

Код без тестирования, который не генерируется из данных WhatWG в этом ящике, находится под Apache-2.0 или MIT. Тестовый код находится под CC0.

Этот ящик содержит код/данные, сгенерированные из данных, приплеванных WhatWG. WhatWG Upstream изменила свою лицензию на части спецификаций, включенных в исходный код от CC0 на BSD-3-оценить между первоначальным выпуском этого ящика и нынешней версией этого ящика. Легенды лицензирования в исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном исходном стиле были обновлены для частей сгенерированного кода, которые изменились с момента изменения лицензии вверх по течению.

Документация

Сгенерированная документация API доступна онлайн.

Существует длинная запись о дизайне и внутренних органах ящика.

Связывания C и C ++

Слой FFI для Encoding_RS доступен в виде отдельного ящика. Ящик поставляется с демо -оболочкой C ++ с использованием стандартной библиотеки C ++ и типов GSL.

Привязки для модуля mem находятся в ящике Encoding_C_MEM.

Для контекста геккона есть обертка C ++, использующая типы MFBT/XPCOM.

Есть запись о обертках C ++.

Образцы программ

• Ржавчина
• В
• C ++

Дополнительные функции

В настоящее время эти дополнительные грузовые функции:

simd-accel

Включает ускорение SIMD с использованием ночной зависимой от ночной функции стандартной библиотеки portable_simd .

Это функция Oct-In, потому что позволяет этой функции выходить из гарантий Rust от будущих компиляторов, компилирующих старый код (он же «История стабильности»).

В настоящее время это не было проверено как улучшение, за исключением этих целей, и ожидается, что функция simd-accel сломает строительство на других целях:

• x86_64
• I686
• Aarch64
• Thumbv7neon

Если вы используете ночную ржавчину, вы используете цели, первый компонент которого является одним из вышеперечисленных, и вы готовы пересмотреть свою конфигурацию при обновлении ржавчины , вы должны включить эту функцию. В противном случае, пожалуйста, не включайте эту функцию.

Используется Firefox.

serde

Обеспечивает поддержку сериализации и пустыни &'static Encoding -поля структуры с использованием Serde.

Не используется Firefox.

fast-legacy-encode

Опция All-All для включения самых быстрых параметров кодирования Legacy. Не влияет на скорость декодирования или скорость кодирования UTF-8.

В настоящее время эта опция эквивалентна включению следующих параметров:

• fast-hangul-encode
• fast-hanja-encode
• fast-kanji-encode
• fast-gb-hanzi-encode
• fast-big5-hanzi-encode

Добавляет 176 КБ к бинарному размеру.

Не используется Firefox.

fast-hangul-encode

Изменения, кодирующие предварительные слоги Hangul, в EUC-KR из бинарного поиска по декодированным таблицам, чтобы поиск по индексу, создавая кодирование корейского простого текста примерно в 4 раза быстрее, чем без этой опции.

Добавляет 20 КБ к бинарному размеру.

Не влияет на скорость декодирования.

Не используется Firefox.

fast-hanja-encode

Изменения, кодирующие Hanja, в EUC-KR из линейного поиска по оптимизированной декодированной таблице для поиска по индексу. Поскольку Ханджа практически отсутствует в современном корейском тексте, этот вариант не влияет на производительность в общем случае и в основном имеет смысл, если вы хотите, чтобы ваше приложение устойчивое отрицание агаистического отказа в обслуживании кто-то преднамеренно кормил бы ему много Ханджи, чтобы кодировать в EUC-KR.

Добавляет 40 КБ к бинарному размеру.

Не влияет на скорость декодирования.

Не используется Firefox.

fast-kanji-encode

Изменения, кодирующие кандзи в shift_jis, euc-jp и iso-2022-jp из линейного поиска по оптимизированным декодированным таблицам, чтобы поиск по индексу, делая японский текст, кодируя в устаревших кодированиях в 30-50 раз, чем без этой опции (примерно в 2 раза быстрее, чем с less-slow-kanji-encode ).

Имеет приоритет над less-slow-kanji-encode .

Добавляет 36 КБ к двоичному размеру (24 КБ по сравнению с less-slow-kanji-encode ).

Не влияет на скорость декодирования.

Не используется Firefox.

less-slow-kanji-encode

Делает JIS X 0208 Уровень 1 Кандзи (наиболее распространенный кандзи в shift_jis, euc-jp и iso-2022-jp) кодирует менее медленный (двоичный поиск вместо линейного поиска), что делает японский текст в простом тексту в устаревшие кодирования в 14-23 раза быстрее, чем без этой опции.

Добавляет 12 КБ к бинарному размеру.

Не влияет на скорость декодирования.

Не используется Firefox.

fast-gb-hanzi-encode

Изменения, кодирующие Hanzi в единых идеографиях CJK, блокируются в GBK и GB18030 из линейного поиска по части, оптимизированные декодированные таблицы, за которыми следуют бинарный поиск по другой части нептимизированных декодированных таблиц, чтобы найти индекс, упрощенный китайский текстовый текст в кодируемые кодирования 100 до 110 времени, в течение этого, примерно на 2-й размер. less-slow-gb-hanzi-encode ).

Принимает приоритет над less-slow-gb-hanzi-encode .

Добавляет 36 КБ к двоичному размеру (24 КБ по сравнению с less-slow-gb-hanzi-encode ).

Не влияет на скорость декодирования.

Не используется Firefox.

less-slow-gb-hanzi-encode

Делает GB2312 Уровень 1 Hanzi (наиболее распространенный Hanzi в GB18030 и GBK) кодирует менее медленный (двоичный поиск вместо линейного поиска), что делает упрощенный китайский текстовый текст кодирующим в устаревшие кодирования примерно в 40 раз быстрее, чем без этой опции.

Добавляет 12 КБ к бинарному размеру.

Не влияет на скорость декодирования.

Не используется Firefox.

fast-big5-hanzi-encode

Изменения, кодирующие Hanzi в унифицированных идеографах CJK, блокируются в BIG5 из линейного поиска над частью, оптимизированными декодированием таблиц, чтобы поиск по индексу, делая традиционный китайский текстовый текст для BIG5 до 125 раз, чем без этой опции (примерно в 3 раза быстрее, чем с less-slow-big5-hanzi-encode ).

Принимает приоритет над less-slow-big5-hanzi-encode .

Добавляет 40 КБ к двоичному размеру (20 КБ по сравнению с less-slow-big5-hanzi-encode ).

Не влияет на скорость декодирования.

Не используется Firefox.

less-slow-big5-hanzi-encode

Make Big5 Level 1 Hanzi (наиболее распространенный Hanzi в Big5) кодирует менее медленный (двоичный поиск вместо линейного поиска), создавая традиционные китайские простого текста в Big5 примерно в 36 раз быстрее, чем без этой опции.

Добавляет 20 КБ к бинарному размеру.

Не влияет на скорость декодирования.

Не используется Firefox.

Цели производительности

Для декодирования в UTF-16 цель состоит в том, чтобы выступить, по крайней мере, так же, как и старый Gecko's Old UConv. Для декодирования в UTF-8 цель состоит в том, чтобы выполнить по крайней мере, а также кодирование ржавчины. Эти цели были достигнуты.

Кодирование в UTF-8 должно быть быстро. (UTF-8 в UTF-8 Кодирование должно быть эквивалентно memcpy , а UTF-16-UTF-8, должен быть быстрым.)

Скорость-это нецелевая кодировка на устаревшие кодировки. По умолчанию кодирование в устаревшие кодировки не должны быть оптимизированы для скорости за счет размера кода, если подача формы и анализ URL в гекконе не становятся заметно слишком медленными в реальном использовании.

В интересах двоичного размера, по умолчанию, Encoding_RS не имеет специфичных для кодирования таблиц данных, превышающих 32 бита данных, специфичных для экода, для каждой одно-байтовой кодировки. Следовательно, энкодеры ищут таблицы данных, оптимизированные декодированием. Это линейный поиск в большинстве случаев. В результате, по умолчанию, кодирование в устаревшие кодировки варьируются от медленных до чрезвычайно медленных по сравнению с другими библиотеками. Тем не менее, с реалистичными рабочими нагрузками, это казалось достаточно быстро, чтобы не быть пользователем видно медленной на Raspberry Pi 3 (который стоял для телефона для тестирования) в вариантах использования энкодера, подвергшегося воздействию Интернета.

См. Функции груза выше для опционального создания устаревшего кодирования CJK.

Структура для измерения производительности доступна отдельно.

Совместимость версии ржавчины

Это цель - поддержать последнюю стабильную ржавчину, последнюю ночную ржавчину и версию Rust, которая используется для Firefox Nightly.

В настоящее время нет никакой твердой приверженности поддержать версию, старше того, что требуется Firefox, и нет никаких обязательств рассматривать изменения MSRV как разбитые, потому что этот ящик зависит от cfg-if , который, по-видимому, не рассматривает изменения MSRV как ломаные, поэтому для этого ящика будет бесполезно рассматривать MSRV-изменения.

По состоянию на 2024-11-01 MSRV, по-видимому, представляет собой ржавчину 1.40.0 для использования ящика и 1.42.0 для прохождения DOC-тестов без ошибок в отношении глобального распределения. С функцией simd-accel MSRV еще выше.

Совместимость с кодированием ржавчины

Слой совместимости, который реализует API-кодирование ржавчины поверх кодирования_Р, предоставляется в виде отдельного ящика (не может быть загружен в Crates.io). Слой совместимости был первоначально написан с предположением, что Firefox ему понадобится, но в настоящее время он не используется в Firefox.

Регенерирующий сгенерированный код

Чтобы восстановить сгенерированный код:

• Установите Python 2.
• Clone https://github.com/hsivonen/encoding_c рядом с каталогом encoding_rs .
• Клон https://github.com/hsivonen/codepage рядом с каталогом encoding_rs .
• Clone https://github.com/whatwg/encoding рядом с каталогом encoding_rs .
• Оформление проверки 1d519bf8e5555cef64cf3a712485f41cd1a6a990 encoding репо. (Примечание: f381389 был пересмотром encoding , используемого до изменения лицензии на encoding .)
• С помощью каталога encoding_rs в качестве рабочего каталога запустите python generate-encoding-data.py Data.py.

Дорожная карта

• Проектируйте API низкого уровня.
• Обеспечить удобные функции Rust.
• Предоставьте API C ++ со вкусом STL/GSL.
• Реализуйте все декодеры и кодеры.
• Добавьте модульные тесты для всех декодеров и кодеров.
• Завершите варианты обнюхивания бом в удобных функциях.
• Документируйте API.
• Публикуйте ящик на Crates.io.
• Создайте решение для измерения производительности.
• Ускоряйте преобразования ASCII с использованием SSE2 на x86.
• Ускоряйте преобразования ASCII, используя операции ALU размером с регистрации на архитектурах без X86 (обрабатывайте usize вместо u8 за раз).
• Разделите FFI на отдельный ящик, чтобы FFI не мешал LTO в чистом виде.
• Сжатие индексов CJK, используя последовательные кодовые точки, а также заказанные частями индексов Unicode.
• Сделайте поиск по метке или имени. Используйте двоичный поиск, который ищет с конца метки/имени до начала.
• Сделайте этикетки с не ASCII байтами быстро.
• Параллелизировать валидацию UTF-8 с использованием Rayon. (Это оказалось пессимизация в случае ASCII по причинам пропускной способности памяти.)
• Предоставьте XPCOM/MFBT-аромат C ++ API.
• Изучите ускорение одно-байтового кодирования с помощью одного быстро отслеживаемого диапазона на кодирование.
• Замените UConv на Encoding_RS в гекконе.
• Реализуйте API-кодировки ржавчины с точки зрения кодирования_rs.
• Добавьте SIMD ускорение для Aarch64.
• Изучите использование Neon на 32-битной руке.
• Изучите ускорение таблицы таблицы Björn Höhrmann для UTF-8 как адаптированное к ржавчине в кодировке ржавчины.
• Добавьте на самом деле быстрые параметры кодирования CJK.
• Изучите ускорение таблицы поиска Боба Стигалла для UTF-8.
• Предоставьте режим сборки, который работает без alloc (с меньшей поверхностью API).
• Мигрируйте на std::simd Как только он стабилен и объявит 1.0.
• Мигрируйте unsafe доступ к срезам большими типами, чем u8 / u16 в align_to .

Выпуск заметок

0,8,35

• Реализуйте изменения для GB18030-2022. (Намеренно не рассматривается как разрыв в семвере на практике, даже если это может утверждать, что это нарушающее изменение в теории.)

0,8,34

• Используйте ночную функцию portable_simd стандартной библиотеки вместо ящика packed_simd . Только влияет только на опциональную ночную функцию simd-accel .
• Улучшения внутренней документации и незначительные улучшения кода вокруг unsafe .
• Добавлена rust-version в Cargo.toml .

0,8,33

• Используйте packed_simd вместо packed_simd_2 снова теперь, когда обновления вернулись под именем packed_simd . Только влияет только на опциональную ночную функцию simd-accel .

0,8,32

• Удален build.rs . (Это удаление должно разрешить ложные срабатывания, сообщаемые некоторыми антивирусными продуктами. Это может сломать некоторые конфигурации сборки, которые отказались от гарантий Rust от будущего разрыва сборки.)
• Внутреннее изменение того, что API используется для переосмысления конфигурации полосы движения векторов SIMD.
• Улучшения документации.

0,8,31

• Используйте SPDX с скобками, которые теперь Crates.io поддерживает скобки.

0,8.30

• Обновите информацию о лицензировании, чтобы учесть изменение лицензии на данные WhatWG.

0,8,29

• Сделайте детали, которые используют дополнительное распределитель.

0,8,28

• Исправьте ошибку в поддержке Serde, введенной в рамках поддержки no_std .

0,8,27

• Заставьте ящик работать в среде no_std (с alloc ).

0,8,26

• Исправлена ​​надзор в миграции издания 2018 года, которая сломала функцию simd-accel .

0,8,25

• Сделайте проверку выравнивания указателя таким образом, когда промежуточные шаги не определены как неопределенное поведение.
• Обновите зависимость packed_simd от packed_simd_2 .
• Обновите зависимость cfg-if до 1.0.
• Адрес предупреждения, которые были представлены более новыми версиями ржавчины на этом пути.
• Обновление до издания 2018 года, так как даже до 1,0 cfg-if обновлено до издания 2018 без перерыва.

0,8,24

• Избегайте вычисления промежуточного (а не бездомного) значения указателя способом, обозначенным как неопределенное поведение при вычислении вычисления указателя.

0,8,23

• Удалить год из уведомлений об авторском праве. (Нет функций или исправлений ошибок.)

0,8,22

• Форматирование исправления и новый модульный тест. (Нет функций или исправлений ошибок.)

0,8,21

• Исправлена ​​паника с недопустимым UTF-16 [Be | le] входом в конце потока.

0,8,20

• Сделайте Decoder::latin1_byte_compatible_up_to nate None в большем случае, чтобы сделать метод действительно полезным. Хотя это можно утверждать, что это нарушающее изменение из -за исправления ошибки, изменяя семантику, он не нарушает вызывающих абонентов, которые в любом случае не должны были обращаться с None .

0,8,19

• Удалили кучу граничных проверок в convert_str_to_utf16 .
• Добавлено mem::convert_utf8_to_utf16_without_replacement .

0,8,18

• Добавлено mem::utf8_latin1_up_to и mem::str_latin1_up_to .
• Добавлен Decoder::latin1_byte_compatible_up_to .

0,8,17

• Обновите требование версии bincode (Dev Depertion) до 1.0.

0,8,16

• Переключитесь с ящика simd на packed_simd .

0,8,15

• Отрегулируйте документацию для simd-accel (выпуск только для чтения).

0,8,14

• Сделано UTF-16 в UTF-8 преобразование Encode заполняет выходной буфер как можно ближе.

0,8,13

• Сделал декодер UTF-8 с UTF-16 сравнить количество кодовых единиц, записанных с длиной правого среза (выходной срез), чтобы исправить панику, введенную в 0,8.11.

0,8,12

• Удалил clippy:: Префикс из имен Clippy Lint.

0,8,11

• Изменено минимальное требование ржавчины на 1,29,0 (для способности ссылаться на внутреннюю часть static при определении другой static ).
• Явно выровнял таблицы поиска для одно байтовых кодировки и UTF-8, чтобы кэшировать линии в надежде освободить одну линию кэша для других данных. (Возможно, таблицы уже были выровнены, и это плацебо.)
• Добавлены 32 бита данных, ориентированных на код, для каждой однобайтовой кодировки. Изменение было нейтральным для производительности для нелатин1-ишах латинских устаревших устаревших кодировки, улучшенная скорость кодирования латинского и арабского и арабского кода (новая скорость в 2,4 раза старая скорость для немецкого, 2,3 раза для арабского, 1,7x для португальского и 1,4 раза для французского) и улучшенной не-латиновой, неаракной легажи. Русский, 4x для иврита).
• Добавлены параметры времени компиляции для Fast CJK Legacy Options (по цене двоичного размера (до 176 т.п.н.) и использования памяти времени выполнения). Эти параметры по -прежнему сохраняют общую структуру кода вместо того, чтобы полностью переписать энкодеры CJK, поэтому скорость не так хороша, как может быть достигнута, используя еще большую память / сделав двоичный файл еще ровным.
• Сделан UTF-8 декодировать и валидацию быстрее.
• Добавлен метод is_single_byte() при Encoding .
• Добавлено mem::decode_latin1() и mem::encode_latin1_lossy() .

0,8,10

• Отключил модульный тест, который проверяет состояние паники, когда тестируемое утверждение отключено.

0,8,9

• Сделано --features simd-accel работает со стабильным компилятором, чтобы упростить систему сборки Firefox.

0,8,8

• Сделан is_foo_bidi() не обрабатывать u+feff (Zero ширина без разрывов, известная как байт-байт.
• Сделано отчет о функциях is_foo_bidi() true , если ввод содержит формы ивритских презентаций (которые имеют право на летя, но не в блоке с правом на лете).

0,8,7

• Исправлена ​​паника в декодере UTF-16LE/UTF-16BE при расшифровании UTF-8.

0,8,6

• Временно удалило утверждение отладки, добавленное в версии 0.8.5 из convert_utf16_to_latin1_lossy .

0,8,5

• Если утверждения отладки включены, но пузырь не включена, преобразования с потерями в LATIN1 в mem MODULE утверждают, что вход в диапазоне U+0000 ... U+00FF (включительно).
• В модуле mem обеспечивают конверсию от Latin1 и UTF-16 в UTF-8, которые могут иметь дело с недостаточным выходным пространством. Идея состоит в том, чтобы использовать их сначала с распределением, окруженным до размера ведра Джемаллока, и выполнить самое наихудшее распределение, только если округление Джемаллока было недостаточным, как первое предположение.

0,8,4

• Исправлена ​​SSE2-специфическая, специфическая для simd-accel CORRUPTION памяти, введенная в версии 0.8.1 в конверсии между UTF-16 и Latin1 в модуле mem .

0,8,3

• Удалили #[inline(never)] аннотация, которая не была предназначена для выпуска.

0,8,2

• Сделано не ASCII UTF-16 для UTF-8 быстрее кодировать, вручную пропуская связанные проверки и вручную добавляя аннотации прогнозирования ветвей.

0,8,1

• Настройка развертывания петли и выравнивания памяти для преобразования SSE2 между UTF-16 и Latin1 в модуле mem для повышения производительности при преобразовании длинных буферов.

0,8,0

• Изменил минимальную поддерживаемую версию Rust на 1.21.0 (Semver Breaking Change).
• Перевернут по умолчанию по сравнению с необязательными функциями для контроля размера и скорости компромисса для кодирования Legacy Kanji и Hanzi (Semver Breaking Change).
• Добавлена ​​неоновая поддержка на ARMV7.
• Ускоренная SIMD X-USER DEFED для DECODE UTF-16.
• Сделано UTF-16LE и UTF-16BE DECODE намного быстрее (включая ускорение SIMD).

0,7,2

• Добавьте модуль mem .
• Refactor SIMD -код, который может повлиять на производительность вне модуля mem .

0,7,1

• При кодировании из неверного UTF-16, правильно обрабатывайте U+DC00, за которым следует еще один низкий суррогат.

0,7,0

• Сделайте replacement меткой замены кодирования. (Специальное изменение.)
• Удалить Encoding::for_name() . ( Encoding::for_label(foo).unwrap() теперь достаточно близко после изменения вышеуказанной метки.)
• Удалите функцию груза parallel-utf8 .
• Добавьте дополнительную поддержку SERDE для &'static Encoding .
• Настройки производительности для обработки ASCII.
• Настройки производительности для проверки UTF-8.
• Поддержка SIMD на Aarch64.

0,6,11

• Сделайте Encoder::has_pending_state() Public.
• Обновите зависимость ящика simd до 0.2.0.

0,6,10

• Зарезервируйте достаточно места для NCR при кодировании в ISO-2022-JP.
• Правильные расчеты максимальной длины для мультибитных декодеров.
• Правильные расчеты длины максимальной длины до того, как было выполнено понюшение бом.
• Правильно рассчитайте максимальную длину при кодировании от UTF-16 до GBK.

0,6,9

• Ничего не поддавайте ничего, когда декодирование диапазона GB18030 не удастся. (Специальное изменение.)

0,6,8

• Correcly обрабатывать корпус, где первый буфер содержит потенциально частичный ролик, а следующий буфер - последний буфер.
• Декодировать байт 7F правильно в ISO-2022-JP.
• Сделайте UTF-16, чтобы UTF-8 кодировать записи ближе к концу буфера.
• Реализуйте Hash для Encoding .

0,6,7

• Карта полушивки Катакана до полной шириной Катаны в ESO-2022-JP Encoder. (Специальное изменение.)
• Дайте приоритет ввода InputEmpty по сравнению с OutputFull при кодировании с заменой, а выходной буфер передается слишком коротким, или оставшееся пространство в выходном буфере слишком мал после замены.

0,6,6

• Правильный расчет максимальной длины, когда префикс частичного BOM является частью состояния декодера.

0,6,5

• Правильный расчет максимальной длины в различных кодерах.
• Правильный расчет максимальной длины в декодере UTF-16.
• Выведите PartialEq и Eq для типов CoderResult , DecoderResult и EncoderResult .

0,6,4

• Избегайте паники при кодировке с заменой, а буфер назначения слишком короткий, чтобы удерживать одну цифровую ссылку на символ.

0,6,3

• Добавьте поддержку 32-битных крупных хозяев. (На этот раз на этот раз.)

0,6,2

• Исправьте панику из субсизирования с плохими индексами в Encoder::encode_from_utf16 . (Из -за надзора, ему не хватало исправления, что Encoder::encode_from_utf8 уже имел.)
• Микро-оптимизируемое накопление состояния ошибки в случае не потокового случая.

0,6,1

• Избегайте паники вблизи целого числа переполнений в случае, который вряд ли на самом деле произойдет.
• Адрес Clippy Lints.

0,6,0

• Сделайте методы вычисления требований к требованиям буфера наихудшего часа для переполнения целого числа.
• Обновление района до 0,7,0.

0.5.1

• Методы повторного порядка для лучшей читаемости документации.
• Добавьте поддержку для крупных хозяев. (Только 64-битный случай фактически проверился.)
• Оптимизируйте случай ALU (не-SIMD) для 32-битной руки вместо x86_64.

0.5.0

• Избегайте выделения чрезмерно длинных буферов в не потоковом декоде.
• Исправьте поведение ISO-2022-JP и замены декодеров в конце выходного буфера.
• Аннотируйте результат структуры #[must_use] .

0.4.0

• Разделите FFI на отдельный ящик.
• Производительные изменения.
• CJK Бинарный размер и изменение производительности кодирования.
• Параллелизуйте валидацию UTF-8 в случае длинных буферов (с дополнительной функцией parallel-utf8 ).
• Заимствуйте даже с ISO-2022-JP, когда это возможно.

0,3,2

• Исправьте указатели на выравнивание при ускорении ASCII на основе ALU.
• Исправить ошибки в документации и улучшить документацию.

0,3,1

• Исправьте UTF-8 в UTF-16 декодирование для последовательностей байтов, начиная с 0xee.
• Сделайте UTF-8 в UTF-8 DeCode SSE2-ускоренность, когда используется функция simd-accel .
• При декодировании и кодировании ввода только ASCII от или к ASCII-совместимому кодированию с использованием не потокового API, верните заимствование ввода.
• Сделайте Encode от UTF-16 до UTF-8 быстрее.

0,3

• Измените ссылки на экземпляры Encoding от const в static , чтобы сделать референты уникальными для ящиков, которые используют рефераты.
• Введите экземпляры FOO_INIT , не подписанные на Encoding , чтобы позволить иностранным ящикам инициализации static массивов со ссылками на Encoding экземпляры, даже при ограничениях Руста, которые запрещают инициализацию &'static Encoding статиков -статических &'static Encoding statics .
• Документируйте, что вышеупомянутые два балла будут возвращены, если изменения ржавчины const работать, так что использование кросс-класса сохраняет уникальные референты.
• Возвращайте Cow из несущественных методов Rust только для кодирования и декодирования.
• Encoding::for_bom() Возвращает длину тела.
• ASCI-ECCELEREDERETERS для кодировки, отличных от UTF-16LE, UTF-16BE, ISO-2022-JP и X-USER, определенных.
• Добавьте ускорение SSE2 за флагом функций simd-accel . (Требуется ночная ржавчина.)
• Исправьте панику с длинными поддельными этикетками.
• Карта 0xca до u+05ba в Windows-1255. (Специальное изменение.)
• Исправьте конец диапазона eudc shift_jis. (Специальное изменение.)

0,2,4

• Польская документация FFI.

0,2,3

• Исправить UTF-16 в ETF-8 Encode.

0,2,2

• Добавьте Encoder.encode_from_utf8_to_vec_without_replacement() .

0,2,1

• Добавить Encoding.is_ascii_compatible() .

• Добавьте Encoding::for_bom() .

• Сделайте == для сравнения имени Encoding вместо сравнения указателей, потому что использование констант кодирования в разных ящиках приводит к разным адресам, а постоянная не может быть превращена в статику, не разбивая другие вещи.

0.2.0

Первоначальный выпуск.