encoding_rs

encoding_rs

encoding_rs Implementasi dari (bagian non-javascript dari) standar penyandian yang ditulis dalam karat.

Standar pengkodean mendefinisikan set pengkodean karakter yang kompatibel dengan web, yang berarti peti ini dapat digunakan untuk memecahkan kode konten web. encoding_rs digunakan di tokek dimulai dengan Firefox 56. Karena tumpang tindih yang terkenal antara pengkodean warisan di web dan pengkodean warisan yang digunakan pada jendela, peti ini mungkin digunakan untuk situasi yang tidak terkait dengan WEB juga; Lihat di bawah untuk tautan ke peti yang berdekatan.

Selain itu, modul mem menyediakan berbagai operasi untuk berurusan dengan teks in-ram (berbeda dengan data yang berasal dari atau pergi ke batas IO). Modul mem adalah modul, bukan peti terpisah karena efisiensi detail implementasi internal.

Fungsionalitas

Karena case penggunaan tokek, encoding_rs mendukung decoding ke dan encoding dari UTF-16 selain mendukung kasus decoding penggunaan karat yang biasa ke dan pengkodean dari UTF-8. Selain itu, API telah dirancang agar ramah FFI untuk mengakomodasi sisi C ++ Gecko.

Secara khusus, encoding_rs melakukan hal berikut:

• Decodes aliran byte dalam pengkodean karakter yang ditentukan standar encoding ke dalam UTF-16 asli-end yang diselaraskan valid (unit u16 / char16_t ).
• Mengkodekan aliran UTF-16 asli yang berpotensi bervalid (unit u16 / char16_t ) menjadi urutan byte dalam pengkodean karakter yang ditentukan standar seolah-olah pengganti tunggal telah diganti dengan karakter pengganti sebelum melakukan enkode. (UTF-16 Gecko berpotensi tidak valid.)
• Mendekode aliran byte dalam pengkodean karakter yang ditentukan standar yang dikodekan ke UTF-8 yang valid.
• Mengkodekan aliran UTF-8 yang valid ke dalam urutan byte dalam pengkodean karakter yang ditentukan standar. (Rust's UTF-8 dijamin-valid.)
• Apakah di atas dalam streaming (input dan output terbagi di beberapa buffer) dan non-streaming (seluruh input dalam buffer tunggal dan seluruh output dalam buffer tunggal) varian.
• Hindari menyalin (peminjam) bila memungkinkan dalam kasus non-streaming saat mendekode atau pengkodean dari UTF-8.
• Menyelesaikan label tekstual yang mengidentifikasi pengkodean karakter dalam teks protokol menjadi objek yang aman jenis yang mewakili pengkodean tersebut secara konseptual.
• Memetakan objek pengkodean jenis-aman ke string yang cocok untuk kembali dari document.characterSet .
• Memvalidasi UTF-8 (dalam skenario set instruksi umum sedikit lebih cepat untuk beban kerja web daripada perpustakaan standar; semoga akan menjadi upstream suatu hari) dan ASCII.

Selain itu, encoding_rs::mem melakukan hal berikut:

• Periksa apakah buffer byte hanya berisi ASCII.
• Memeriksa apakah buffer UTF-16 yang berpotensi invalid hanya berisi dasar Latin (ASCII).
• Periksa apakah UTF-8 yang valid, Buffer UTF-16 yang berpotensi invalid, atau buffer UTF-16 yang berpotensi invalid hanya berisi titik-titik kode Latin (di bawah U+0100).
• Memeriksa apakah UTF-8 yang valid, UTF-16 yang berpotensi tidak bervalid atau buffer UTF-16 yang berpotensi invalid atau titik kode atau unit kode UTF-16 dapat memicu perilaku kanan-ke-kiri (cocok untuk memeriksa apakah algoritma dua arah unicode dapat dioptimalkan keluar).
• Versi gabungan dari dua cek di atas.
• Konversi UTF-8 yang valid, Potensi-Invalid UTF-8 dan Latin1 ke UTF-16.
• Konversi UTF-16 dan Latin1 yang berpotensi invalid ke UTF-8.
• Konversi UTF-8 dan UTF-16 ke Latin1 (jika dalam jangkauan).
• Menemukan unit kode tidak valid pertama dalam buffer UTF-16 yang berpotensi invalid.
• Membuat buffer yang dapat berubah dari potensi-invalid UTF-16 berisi UTF-16 yang valid.
• Menyalin ASCII dari satu buffer ke yang lain hingga byte non-ASSASI pertama.
• Mengubah ASCII menjadi UTF-16 hingga byte non-ASCII pertama.
• Konversi UTF-16 menjadi ASCII hingga unit kode Latin non-Basic pertama.

Integrasi dengan std::io

Khususnya, daftar fitur di atas tidak termasuk kemampuan untuk membungkus std::io::Read , decode ke UTF-8 dan menyajikan hasilnya melalui std::io::Read . Peti encoding_rs_io menyediakan kemampuan itu.

Lingkungan no_std

Peti bekerja di lingkungan no_std . Secara default, fitur alloc , yang mengasumsikan bahwa alokasi diaktifkan. Untuk lingkungan no-allocator, fitur default (yaitu alloc ) dapat dimatikan. Ini membuat bagian dari API yang mengembalikan Vec / String / Cow tidak tersedia.

Email decoding

Untuk pengkodean karakter decoding yang terjadi dalam email, gunakan charset Crate alih -alih menggunakan yang ini secara langsung. (Itu membungkus peti ini dan menambahkan decoding UTF-7.)

Pemetaan pengidentifikasi halaman kode windows

Untuk pemetaan ke dan dari pengidentifikasi halaman kode Windows, gunakan peti codepage .

Pengkodean DOS

Peti ini tidak mendukung penyandian DOS byte tunggal yang tidak diperlukan oleh platform web, tetapi peti oem_cp melakukannya.

Mempersiapkan teks untuk Encoders

Normalisasi teks ke dalam bentuk normalisasi unicode C sebelum mengkodekan teks ke dalam pengkodean warisan meminimalkan karakter yang tidak dapat diabaikan. Teks dapat dinormalisasi ke bentuk normalisasi unicode C menggunakan peti icu_normalizer .

Pengecualiannya adalah Windows-1258, yang setelah menormalkan ke unicode normalisasi bentuk C membutuhkan tanda nada untuk didekomposisi untuk meminimalkan karakter yang tidak dapat dipetakan. Tanda nada Vietnam dapat terurai menggunakan peti detone .

Lisensi

TL; DR: (Apache-2.0 OR MIT) AND BSD-3-Clause untuk kombinasi kode dan data.

Silakan lihat file bernama Hak Cipta.

Kode non-tes yang tidak dihasilkan dari data WhatWG di peti ini berada di bawah Apache-2.0 atau MIT. Kode uji berada di bawah CC0.

Peti ini berisi kode/data yang dihasilkan dari data yang disediakan. Hulu WhatWG mengubah lisensi untuk bagian spesifikasi yang dimasukkan ke dalam kode sumber dari CC0 menjadi BSD-3-Clause antara rilis awal peti ini dan versi peti ini saat ini. Legenda lisensi dalam sumber telah diperbarui untuk bagian-bagian kode yang dihasilkan yang telah berubah sejak perubahan lisensi hulu.

Dokumentasi

Dokumentasi API yang dihasilkan tersedia secara online.

Ada tulisan panjang tentang desain dan internal peti.

Binding C dan C ++

Lapisan FFI untuk encoding_rs tersedia sebagai peti terpisah. Peti dilengkapi dengan pembungkus Demo C ++ menggunakan tipe Perpustakaan C ++ Standar dan GSL.

Binding untuk modul mem ada di krat encoding_c_mem.

Untuk konteks tokek, ada pembungkus C ++ menggunakan tipe MFBT/XPCOM.

Ada tulisan tentang pembungkus C ++.

Program sampel

• Karat
• C
• C ++

Fitur opsional

Saat ini ada fitur kargo opsional ini:

simd-accel

Mengaktifkan akselerasi SIMD menggunakan fitur pustaka standar portable_simd yang bergantung pada malam hari.

Ini adalah fitur opt-in, karena memungkinkan fitur ini memilih keluar dari jaminan Rust untuk kompiler di masa depan yang menyusun kode lama (alias. "Stability Story").

Saat ini, ini belum diuji sebagai peningkatan kecuali untuk target ini dan memungkinkan fitur simd-accel diharapkan untuk memecah build pada target lain:

• x86_64
• I686
• aarch64
• thumbv7neon

Jika Anda menggunakan karat malam, Anda menggunakan target yang komponen pertamanya adalah salah satu dari yang di atas, dan Anda siap untuk merevisi konfigurasi saat memperbarui karat , Anda harus mengaktifkan fitur ini. Kalau tidak, tolong jangan aktifkan fitur ini.

Digunakan oleh Firefox.

serde

Mengaktifkan dukungan untuk serial dan deserialization &'static Encoding -typed struct bidang menggunakan Serde.

Tidak digunakan oleh Firefox.

fast-legacy-encode

Opsi Catch-All untuk mengaktifkan opsi ENCODE Legacy tercepat. Tidak mempengaruhi kecepatan decode atau kecepatan encode UTF-8.

Saat ini, opsi ini setara dengan mengaktifkan opsi berikut:

• fast-hangul-encode
• fast-hanja-encode
• fast-kanji-encode
• fast-gb-hanzi-encode
• fast-big5-hanzi-encode

Menambahkan 176 kb ke ukuran biner.

Tidak digunakan oleh Firefox.

fast-hangul-encode

Perubahan yang mengkode suku kata hangul yang telah dikomposisi ke dalam EUC-KR dari pencarian biner atas tabel yang dioptimalkan decode untuk dicari dengan indeks membuat teks-teks Korea mengkode sekitar 4 kali lebih cepat dari tanpa opsi ini.

Menambahkan 20 kb ke ukuran biner.

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

fast-hanja-encode

Perubahan Pengkodean Hanja menjadi EUC-KR dari pencarian linier di atas tabel yang dioptimalkan untuk dicari oleh indeks. Karena Hanja praktis tidak ada dalam teks Korea modern, opsi ini tidak memengaruhi perfomansi dalam kasus umum dan terutama masuk akal jika Anda ingin membuat penolakan aplikasi Anda yang tangguh oleh seseorang dengan sengaja memberi makan banyak hanja untuk mengkodekan ke dalam EUC-kr.

Menambahkan 40 kb ke ukuran biner.

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

fast-kanji-encode

Perubahan pengkodean kanji menjadi shift_jis, euc-jp dan iso-2022-jp dari pencarian linier melalui tabel yang dioptimalkan decode untuk mencari dengan indeks membuat encode teks polos Jepang ke pengkodean warisan 30 hingga 50 kali lebih cepat daripada tanpa opsi ini (sekitar 2 kali lebih cepat daripada dengan less-slow-kanji-encode ).

Lebih diutamakan daripada less-slow-kanji-encode .

Menambahkan 36 kb ke ukuran biner (24 kb dibandingkan dengan less-slow-kanji-encode ).

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

less-slow-kanji-encode

Membuat JIS X 0208 Level 1 Kanji (Kanji yang paling umum di Shift_Jis, EUC-JP dan ISO-2022-JP) mengkodekan lebih lambat (pencarian biner daripada pencarian linier) membuat encode teks polos Jepang ke pengkodean warisan 14 hingga 23 kali lebih cepat daripada tanpa opsi ini.

Menambahkan 12 kb ke ukuran biner.

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

fast-gb-hanzi-encode

Perubahan Pengkodean Hanzi di CJK Unified Ideographs Blocks menjadi GBK dan GB18030 dari pencarian linier pada bagian tabel yang dioptimalkan oleh decode diikuti oleh pencarian biner atas bagian lain dari tabel yang dioptimalkan untuk 110 kali yang disederhanakan tanpa kode yang disederhanakan tanpa kode-waktu yang disederhanakan dengan tabel yang disederhanakan dengan tabel yang disederhanakan dengan tabel yang disederhanakan dengan pembesaran warisan 100 hingga 110 kali untuk 110 kali lipat dari waktu ke 110 untuk 110 kali tanpa kode yang disederhanakan dengan tabel tanpa kode yang disederhanakan. less-slow-gb-hanzi-encode ).

Lebih diutamakan daripada less-slow-gb-hanzi-encode .

Menambahkan 36 kb ke ukuran biner (24 kb dibandingkan dengan less-slow-gb-hanzi-encode ).

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

less-slow-gb-hanzi-encode

Membuat GB2312 Level 1 Hanzi (Hanzi yang paling umum di GB18030 dan GBK) mengkodekan lebih lambat (pencarian biner daripada pencarian linier) membuat encode teks polos Cina yang disederhanakan ke pengkodean warisan sekitar 40 kali lebih cepat daripada tanpa opsi ini.

Menambahkan 12 kb ke ukuran biner.

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

fast-big5-hanzi-encode

Perubahan Pengkodean Hanzi di CJK Unified Ideographs Blocks menjadi BIG5 dari pencarian linier pada bagian Tabel yang dioptimalkan decode untuk mencari dengan indeks membuat encode teks polos Cina tradisional ke BIG5 105 hingga 125 kali lebih cepat dari tanpa opsi ini (sekitar 3 kali lebih cepat daripada dengan less-slow-big5-hanzi-encode ).

Lebih diutamakan daripada less-slow-big5-hanzi-encode .

Menambahkan 40 kb ke ukuran biner (20 kb dibandingkan dengan less-slow-big5-hanzi-encode ).

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

less-slow-big5-hanzi-encode

Membuat Big5 Level 1 Hanzi (Hanzi yang paling umum di BIG5) mengkode lebih sedikit (pencarian biner daripada pencarian linier) membuat encode teks polos tradisional Cina ke BIG5 sekitar 36 kali lebih cepat dari tanpa opsi ini.

Menambahkan 20 kb ke ukuran biner.

Tidak mempengaruhi kecepatan decode.

Tidak digunakan oleh Firefox.

Tujuan kinerja

Untuk decoding ke UTF-16, tujuannya adalah untuk melakukan setidaknya serta UCONV lama Gecko. Untuk decoding ke UTF-8, tujuannya adalah untuk melakukan setidaknya serta pengodean karat. Tujuan -tujuan ini telah tercapai.

Pengkodean ke UTF-8 harus cepat. (UTF-8 ke UTF-8 Encode harus setara dengan memcpy dan UTF-16 ke UTF-8 harus cepat.)

Kecepatan adalah non-goal saat pengkodean ke pengkodean warisan. Secara default, pengkodean ke pengkode warisan tidak boleh dioptimalkan untuk kecepatan dengan mengorbankan ukuran kode selama pengiriman formulir dan penguraian URL di tokek tidak menjadi terlalu lambat dalam penggunaan dunia nyata.

Demi ukuran biner, secara default, encoding_rs tidak memiliki tabel data spesifik encode di luar 32 bit data spesifik encode untuk setiap pengkodean byte tunggal. Oleh karena itu, encoder mencari tabel data yang dioptimalkan decode. Ini adalah pencarian linier dalam banyak kasus. Akibatnya, secara default, penyandian ke penyandian warisan bervariasi dari lambat hingga sangat lambat relatif terhadap perpustakaan lain. Namun, dengan beban kerja yang realistis, ini sepertinya cukup cepat untuk tidak menjadi pengguna yang lambat di Raspberry Pi 3 (yang berdiri untuk telepon untuk pengujian) dalam kasus penggunaan enkoder yang terpapar web.

Lihat fitur kargo di atas untuk secara opsional membuat warisan CJK menyandikan dengan cepat.

Kerangka kerja untuk mengukur kinerja tersedia secara terpisah.

Kompatibilitas versi karat

Ini adalah tujuan untuk mendukung karat stabil terbaru, karat malam terbaru dan versi karat yang digunakan untuk Firefox malam.

Pada saat ini, tidak ada komitmen yang kuat untuk mendukung versi yang lebih tua dari apa yang dibutuhkan oleh Firefox, dan tidak ada komitmen untuk memperlakukan perubahan MSRV sebagai pemecahan semver, karena peti ini tergantung pada cfg-if , yang tampaknya tidak memperlakukan perubahan MSRV sebagai pemecahan semver, jadi tidak berguna bagi peti ini untuk memperlakukan perubahan MSRV sebagai pemecahan semver.

Pada 2024-11-01, MSRV tampaknya karat 1.40.0 untuk menggunakan peti dan 1.42.0 untuk tes DOC lulus tanpa kesalahan tentang alokasi global. Dengan fitur simd-accel , MSRV bahkan lebih tinggi.

Kompatibilitas dengan pengkode karat

Lapisan kompatibilitas yang mengimplementasikan API pengkodean karat di atas encoding_rs disediakan sebagai peti terpisah (tidak dapat diunggah ke peti.io). Lapisan kompatibilitas pada awalnya ditulis dengan aspsi bahwa Firefox akan membutuhkannya, tetapi saat ini tidak digunakan di Firefox.

Kode yang dihasilkan regenerasi

Untuk meregenerasi kode yang dihasilkan:

• Miliki Python 2 yang diinstal.
• Klon https://github.com/hsivonen/encoding_c di sebelah direktori encoding_rs .
• Klon https://github.com/hsivonen/codepage di sebelah direktori encoding_rs .
• Klon https://github.com/whatwg/encoding di sebelah direktori encoding_rs .
• Revisi checkout 1d519bf8e5555cef64cf3a712485f41cd1a6a990 dari repo encoding . (Catatan: f381389 adalah revisi encoding yang digunakan dari sebelum perubahan lisensi repo encoding .)
• Dengan direktori encoding_rs sebagai direktori yang berfungsi, jalankan python generate-encoding-data.py .

Peta jalan

• Rancang API tingkat rendah.
• Berikan fitur kenyamanan khusus karat.
• Berikan C ++ API yang disukai STL/GSL.
• Menerapkan semua decoder dan encoder.
• Tambahkan tes unit untuk semua decoder dan encoder.
• Finish bom sniffing varian dalam fitur kenyamanan karat.
• Dokumentasikan API.
• Publikasikan peti di crates.io.
• Buat solusi untuk mengukur kinerja.
• Akselerasi konversi ASCII menggunakan SSE2 pada x86.
• Akselerasi konversi ASCII menggunakan operasi berukuran register ALU pada arsitektur non-X86 (proses usize bukan u8 sekaligus).
• Pisahkan FFI menjadi peti terpisah sehingga FFI tidak mengganggu LTO dalam penggunaan rust murni.
• Kompres indeks CJK dengan memanfaatkan titik kode berurutan serta bagian indeks yang dipesan unicode.
• Buat pencarian berdasarkan label atau nama menggunakan pencarian biner yang mencari dari ujung label/nama hingga awal.
• Buat label dengan byte non-ASCII gagal dengan cepat.
• Paralelisasi validasi UTF-8 menggunakan Rayon. (Ini ternyata menjadi pesimisasi dalam kasus ASCII karena alasan bandwidth memori.)
• Berikan C ++ API yang disukai XPCOM/MFBT.
• Selidiki encode byte tunggal yang mempercepat dengan kisaran satu pengkodean yang dilacak cepat.
• Ganti UCONV dengan encoding_rs di tokek.
• Menerapkan API pengkodean karat dalam hal encoding_rs.
• Tambahkan akselerasi SIMD untuk aarch64.
• Selidiki penggunaan neon pada lengan 32-bit.
• Selidiki akselerasi tabel pencarian Björn Höhrmann untuk UTF-8 karena diadaptasi dengan karat dalam pengkode karat.
• Tambahkan Opsi Encode CJK yang benar -benar cepat.
• Selidiki akselerasi tabel pencarian Bob Steagall untuk UTF-8.
• Berikan mode build yang berfungsi tanpa alloc (dengan permukaan API yang lebih rendah).
• Bermigrasi ke std::simd Setelah stabil dan menyatakan 1.0.
• Migrasi akses irisan unsafe berdasarkan jenis yang lebih besar dari u8 / u16 ke align_to .

Catatan Rilis

0.8.35

• Menerapkan perubahan untuk GB18030-2022. (Secara sengaja tidak diperlakukan sebagai istirahat semver dalam praktik bahkan jika ini dapat diperdebatkan sebagai perubahan dalam teori.)

0.8.34

• Gunakan fitur malam portable_simd dari perpustakaan standar alih -alih peti packed_simd . Hanya mempengaruhi fitur malam opsional simd-accel .
• Peningkatan dokumentasi internal dan peningkatan kode minor di sekitar unsafe .
• Menambahkan rust-version ke Cargo.toml .

0.8.33

• Gunakan packed_simd alih -alih packed_simd_2 lagi sekarang karena pembaruan kembali dengan nama packed_simd . Hanya mempengaruhi fitur malam opsional simd-accel .

0.8.32

• build.rs yang Dihapus. (Penghapusan ini harus menyelesaikan positif palsu yang dilaporkan oleh beberapa produk antivirus. Ini dapat merusak beberapa konfigurasi build yang telah memilih keluar dari jaminan Rust terhadap kerusakan build di masa depan.)
• Perubahan internal untuk API apa yang digunakan untuk menafsirkan kembali konfigurasi jalur vektor SIMD.
• Peningkatan Dokumentasi.

0.8.31

• Gunakan SPDX dengan tanda kurung sekarang karena Crates.io mendukung tanda kurung.

0.8.30

• Perbarui informasi lisensi untuk memperhitungkan perubahan lisensi data WhatWG.

0.8.29

• Buat bagian -bagian yang menggunakan alokasi opsional.

0.8.28

• Perbaiki kesalahan dalam dukungan Serde yang diperkenalkan sebagai bagian dari dukungan no_std .

0.8.27

• Buat peti berfungsi di lingkungan no_std (dengan alloc ).

0.8.26

• Perbaiki pengawasan dalam migrasi edisi 2018 yang merusak fitur simd-accel .

0.8.25

• Lakukan pemeriksaan penyelarasan pointer dengan cara di mana langkah -langkah perantara tidak didefinisikan sebagai perilaku yang tidak ditentukan.
• Perbarui ketergantungan packed_simd ke packed_simd_2 .
• Perbarui ketergantungan cfg-if menjadi 1.0.
• Alamat peringatan yang telah diperkenalkan oleh versi karat yang lebih baru di sepanjang jalan.
• Perbarui ke Edisi 2018, karena bahkan sebelum 1.0 cfg-if diperbarui ke Edition 2018 tanpa istirahat SEMVER.

0.8.24

• Hindari menghitung nilai pointer menengah (tidak derereference) dengan cara yang ditunjuk sebagai perilaku yang tidak ditentukan saat menghitung penyelarasan pointer.

0.8.23

• Hapus tahun dari pemberitahuan hak cipta. (Tidak ada fitur atau perbaikan bug.)

0.8.22

• Memformat perbaikan dan tes unit baru. (Tidak ada fitur atau perbaikan bug.)

0.8.21

• Memperbaiki kepanikan dengan input UTF-16 [be | le] yang tidak valid di akhir aliran.

0.8.20

• Buat Decoder::latin1_byte_compatible_up_to tidak mengembalikan None dalam lebih banyak kasus untuk membuat metode ini benar -benar berguna. Meskipun ini bisa diperdebatkan sebagai perubahan yang melanggar karena perbaikan bug mengubah semantik, itu tidak mematahkan penelepon yang harus menangani kasus None dengan cara yang masuk akal.

0.8.19

• Menghapus banyak cek terikat di convert_str_to_utf16 .
• Menambahkan mem::convert_utf8_to_utf16_without_replacement .

0.8.18

• Menambahkan mem::utf8_latin1_up_to dan mem::str_latin1_up_to .
• Menambahkan Decoder::latin1_byte_compatible_up_to .

0.8.17

• Perbarui Persyaratan Versi bincode (DEV Dependency) ke 1.0.

0.8.16

• Beralih dari peti simd ke packed_simd .

0.8.15

• Sesuaikan dokumentasi untuk simd-accel (rilis hanya ReadMe).

0.8.14

• Made UTF-16 ke UTF-8 Encode Conversion Isi buffer output sedekat mungkin.

0.8.13

• Membuat Decoder UTF-8 ke UTF-16 membandingkan jumlah unit kode yang ditulis dengan panjang irisan kanan (irisan output) untuk memperbaiki panik yang diperkenalkan pada 0,8,11.

0.8.12

• Dihapus The clippy:: awalan dari nama clippy lint.

0.8.11

• Mengubah persyaratan karat minimum menjadi 1.29.0 (untuk kemampuan merujuk ke interior static saat mendefinisikan static lain).
• Secara eksplisit menyelaraskan tabel pencarian untuk pengkodean byte tunggal dan UTF-8 dengan garis cache dengan harapan membebaskan satu baris cache untuk data lain. (Mungkin meja sudah disejajarkan dan ini adalah plasebo.)
• Menambahkan 32 bit data yang berorientasi encode untuk setiap pengkodean byte tunggal. Perubahan ini adalah kinerja-netral untuk pengkodean warisan Latin non-Latin1-ish, peningkatan kecepatan encode warisan Latin-ish dan Arab yang lebih baik (kecepatan baru adalah 2,4x kecepatan lama untuk bahasa Jerman, 2,3x untuk bahasa Arab, 1,7x untuk Portugis dan 1,4x untuk bahasa Prancis) dan meningkatkan non-Latin, legoik non-byte non-bye, dan lebih baik untuk bahasa Prancis. Rusia, 4x untuk bahasa Ibrani).
• Menambahkan opsi kompilasi waktu untuk opsi enkode warisan CJK cepat (dengan biaya ukuran biner (hingga 176 kb) dan penggunaan memori run-time). Opsi -opsi ini masih mempertahankan struktur kode keseluruhan alih -alih menulis ulang encoder CJK sepenuhnya, sehingga kecepatannya tidak sebagus apa yang bisa dicapai dengan menggunakan lebih banyak memori / membuat biner bahkan Langer.
• Decode dan validasi UTF-8 lebih cepat.
• Metode yang ditambahkan is_single_byte() pada Encoding .
• Menambahkan mem::decode_latin1() dan mem::encode_latin1_lossy() .

0.8.10

• Menonaktifkan tes unit yang menguji kondisi panik ketika pernyataan yang diuji dinonaktifkan.

0.8.9

• Made --features simd-accel dengan kompiler saluran stabil untuk menyederhanakan sistem pembuatan firefox.

0.8.8

• Membuat is_foo_bidi() tidak memperlakukan u+feff (nol lebar no-break space alias. Byte order mark) sebagai hak-ke-kiri.
• Membuat fungsi is_foo_bidi() melaporkan true jika input berisi formulir presentasi bahasa Ibrani (yang merupakan hak-ke-kiri tetapi tidak dalam blok yang dilapisi jalan-ke-kiri).

0.8.7

• Memperbaiki kepanikan dalam decoder UTF-16LE/UTF-16BE ketika decoding ke UTF-8.

0.8.6

• Menghapus sementara pernyataan debug yang ditambahkan dalam versi 0.8.5 dari convert_utf16_to_latin1_lossy .

0.8.5

• Jika pernyataan debug diaktifkan tetapi fuzzing tidak diaktifkan, konversi lossy ke Latin1 dalam modul mem menyatakan bahwa inputnya ada dalam kisaran U+0000 ... U+00FF (inklusif).
• Dalam modul mem memberikan konversi dari Latin1 dan UTF-16 ke UTF-8 yang dapat menangani ruang output yang tidak memadai. Idenya adalah menggunakannya terlebih dahulu dengan alokasi yang dibulatkan hingga ukuran ember Jemalloc dan melakukan alokasi terburuk hanya jika Jemalloc Rounding Up tidak cukup sebagai tebakan pertama.

0.8.4

• Perbaiki korupsi memori spesifik SSE2, simd-accel -spesifik yang diperkenalkan dalam versi 0.8.1 dalam konversi antara UTF-16 dan Latin1 dalam modul mem .

0.8.3

• Menghapus anotasi #[inline(never)] yang tidak dimaksudkan untuk rilis.

0.8.2

• Dibuat non-ASSASCII UTF-16 ke UTF-8 Encode lebih cepat dengan menghilangkan cek terikat secara manual dan secara manual menambahkan anotasi prediksi cabang.

0.8.1

• Tweaked loop membuka perguruan tinggi dan penyelarasan memori untuk konversi SSE2 antara UTF-16 dan Latin1 dalam modul mem untuk meningkatkan kinerja saat mengonversi buffer panjang.

0.8.0

• Mengubah versi minimum yang didukung dari Rust menjadi 1.21.0 (SEMVER Breaking Change).
• Terbalik di sekitar fitur default vs opsional untuk mengendalikan ukuran vs pertukaran kecepatan untuk kanji dan hanzi warisan encode (SEMVER Breaking Change).
• Menambahkan dukungan neon pada ARMV7.
• SIMD-Accelerated X-User-Defined ke UTF-16 Decode.
• Made UTF-16LE dan UTF-16BE mendekode lebih cepat (termasuk akselerasi SIMD).

0.7.2

• Tambahkan modul mem .
• Kode SIMD refactor yang dapat memengaruhi kinerja di luar modul mem .

0.7.1

• Saat pengkodean dari UTF-16 tidak valid, tangani dengan benar U+DC00 diikuti oleh pengganti rendah lainnya.

0.7.0

• Jadikan replacement label penyandian penggantian. (Perubahan spesifikasi.)
• Hapus Encoding::for_name() . ( Encoding::for_label(foo).unwrap() sekarang cukup dekat setelah perubahan label di atas.)
• Lepaskan fitur kargo parallel-utf8 .
• Tambahkan Dukungan Serde Opsional untuk &'static Encoding .
• Performa tweak untuk penanganan ASCII.
• Tweak kinerja untuk validasi UTF-8.
• Dukungan SIMD di AARCH64.

0.6.11

• Buat Encoder::has_pending_state() public.
• Perbarui ketergantungan peti simd ke 0.2.0.

0.6.10

• Cadangan ruang yang cukup untuk NCR saat pengkodean ke ISO-2022-JP.
• Perhitungan panjang maksimal yang benar untuk dekoder multibite.
• Perhitungan panjang maksimal yang benar sebelum bom sniffing telah dilakukan.
• Hitung panjang maksimal saat pengkodean dari UTF-16 ke GBK.

0.6.9

• Jangan menyiapkan apa pun ketika Decode Range GB18030 gagal. (Perubahan spesifik.)

0.6.8

• Menangani casing di mana buffer pertama berisi BOM yang berpotensi parsial dan buffer berikutnya adalah buffer terakhir.
• Decode Byte 7F dengan benar di ISO-2022-JP.
• Buat UTF-16 ke UTF-8 Encode menulis lebih dekat ke ujung buffer.
• Menerapkan Hash untuk Encoding .

0.6.7

• Peta setengah lebar Katakana ke katana lebar penuh dalam encoder ISO-2022-JP. (Perubahan spesifikasi.)
• Berikan prioritas yang benar OutputFull InputEmpty pengkodean dengan penggantian dan buffer output yang dilewati terlalu pendek atau ruang yang tersisa dalam buffer output terlalu kecil setelah penggantian.

0.6.6

• Perhitungan panjang maksimal yang benar ketika awalan BOM parsial adalah bagian dari keadaan decoder.

0.6.5

• Perhitungan panjang maksimal yang benar dalam berbagai encoder.
• Perhitungan panjang maksimal yang benar dalam dekoder UTF-16.
• Turunkan PartialEq dan Eq untuk jenis CoderResult , DecoderResult dan EncoderResult .

0.6.4

• Hindari panik saat pengkodean dengan penggantian dan buffer tujuan terlalu pendek untuk menahan satu referensi karakter numerik.

0.6.3

• Tambahkan dukungan untuk host 32-bit-endian. (Benar -benar kali ini.)

0.6.2

• Perbaiki kepanikan dari subslicing dengan indeks buruk di Encoder::encode_from_utf16 . (Karena pengawasan, itu tidak memiliki Encoder::encode_from_utf8 yang sudah ada.
• Akumulasi status kesalahan mikro mengoptimalkan dalam kasus non-streaming.

0.6.1

• Hindari kepanikan di dekat integer overflow dalam kasus yang tidak mungkin benar -benar terjadi.
• Alamat clippy lints.

0.6.0

• Buat metode untuk menghitung persyaratan ukuran buffer terburuk periksa untuk integer overflow.
• Tingkatkan Rayon ke 0.7.0.

0.5.1

• Pesan ulang metode untuk keterbacaan dokumentasi yang lebih baik.
• Tambahkan dukungan untuk host-endian besar. (Hanya kasus 64-bit yang benar-benar diuji.)
• Optimalkan kasing ALU (non-SIMD) untuk lengan 32-bit, bukan x86_64.

0.5.0

• Hindari mengalokasikan buffer yang terlalu panjang dalam decode non-streaming.
• Perbaiki perilaku decoder ISO-2022-JP dan penggantian di dekat ujung buffer output.
• Anotasi hasil struktur dengan #[must_use] .

0.4.0

• Pisahkan FFI menjadi peti terpisah.
• Performa tweak.
• Ukuran biner CJK dan pengkodean perubahan kinerja.
• Paralelisasi validasi UTF-8 dalam hal buffer panjang (dengan fitur opsional parallel-utf8 ).
• Pinjam bahkan dengan ISO-2022-JP bila memungkinkan.

0.3.2

• Memperbaiki pointer bergerak ke penyelarasan dalam akselerasi ASCII yang berbasis di ALU.
• Perbaiki kesalahan dalam dokumentasi dan tingkatkan dokumentasi.

0.3.1

• Perbaiki UTF-8 ke UTF-16 Decode untuk urutan byte dimulai dengan 0XEE.
• Buat UTF-8 ke UTF-8 mendekode SSE2-diperkenakan saat fitur simd-accel digunakan.
• Saat mendekode dan pengkodean input ASCII saja dari atau ke pengkodean yang kompatibel dengan ASCII menggunakan API non-streaming, kembalikan pinjaman input.
• Buat Encode dari UTF-16 ke UTF-8 lebih cepat.

0.3

• Ubah referensi ke contoh Encoding dari const ke static untuk membuat referensi unik di seluruh peti yang menggunakan refernces.
• Memperkenalkan instance Encoding FOO_INIT yang tidak referensi untuk memungkinkan peti asing untuk menginisialisasi array static dengan referensi ke instance Encoding bahkan di bawah kendala Rust yang melarang inisialisasi item array yang dikode &'static Encoding dengan &'static Encoding statics .
• Dokumentasikan bahwa dua titik di atas akan dikembalikan jika Rust mengubah const untuk bekerja sehingga penggunaan silang membuat referensi unik.
• Kembalikan Cow S dari metode non-streaming khusus karat untuk mengkode dan kode kode.
• Encoding::for_bom() Mengembalikan panjang bom.
• Konversi ASCII-Accelerated untuk pengkodean selain UTF-16LE, UTF-16BE, ISO-2022-JP dan X-Pengguna yang ditentukan.
• Tambahkan akselerasi SSE2 di belakang bendera fitur simd-accel . (Membutuhkan karat malam.)
• Perbaiki kepanikan dengan label palsu panjang.
• Peta 0xCA ke U+05BA di Windows-1255. (Perubahan spesifikasi.)
• Perbaiki akhir rentang EUDC Shift_Jis. (Perubahan spesifikasi.)

0.2.4

• Dokumentasi FFI Polandia.

0.2.3

• Perbaiki UTF-16 ke UTF-8 Encode.

0.2.2

• Tambahkan Encoder.encode_from_utf8_to_vec_without_replacement() .

0.2.1

• Tambahkan Encoding.is_ascii_compatible() .

• Tambahkan Encoding::for_bom() .

• Make == Untuk Encoding penggunaan perbandingan nama alih -alih perbandingan pointer, karena penggunaan konstanta pengkodean dalam peti yang berbeda menghasilkan alamat yang berbeda dan konstanta tidak dapat diubah menjadi statika tanpa memecahkan hal -hal lain.

0.2.0

Rilis awal.