Unduh tiny utf8 - Unduh Kode Sumber tiny utf8

tiny utf8

C/C++

Version 4.4.3

Unduh

KECIL 4.4

KETERANGAN

Tiny-UTF8 adalah perpustakaan untuk integrasi Unicode yang sangat mudah ke dalam proyek C ++ 11 yang sewenang-wenang. Perpustakaan hanya terdiri dari kelas utf8_string , yang bertindak sebagai pengganti drop-in untuk std::string . Implementasinya berhasil di tengah antara jejak memori kecil dan akses cepat. Semua fungsionalitas std::string karenanya digantikan oleh versi UTF-32 berbasis codepoint yang sesuai-menerjemahkan setiap akses ke UTF-8 di bawah kap.

Perubahan antara versi 4.4 dan 4.3

Tiny-UTF8 digunakan hanya bekerja dengan tipe iterator berbasis indeks byte. Himpunan tipe iterator sekarang telah diselesaikan dengan versi berbasis codepoint dan
Standarnya telah diubah . Itu berarti ( c ) ( r ) begin / end sekarang mengembalikan iterator berbasis codepoint, sedangkan raw_ ( c ) ( r ) begin / end sekarang mengembalikan iterator berbasis byte.
Iterator terbalik dengan byte adalah: mereka biasanya lebih cepat dari iterator berbasis kode. Kelemahannya adalah: mereka menjadi tidak valid dengan sangat cepat . Contoh: str.erase( std::remove( str.begin() , str.end() , U'W' ) , str.end() ) akan bekerja, tetapi str.erase( std::remove( str.raw_begin() , str.raw_end() , U'W' ) , str.raw_end() ) tidak akan (setidaknya tidak akan). Alasannya adalah: setelah panggilan ke std::remove , ukuran data string mungkin telah berubah dan panggilan kedua ke str.raw_end() mungkin telah menghasilkan iterator yang sekarang divalidasi.

FITUR

Penggantian drop-in untuk std::string
Ringan dan mandiri (~ 5k sloc)
Sangat cepat , yaitu rutinitas decoder, encoder, dan traversal yang sangat dioptimalkan
Tata letak memori canggih , yaitu akses acak
- O (1) untuk string ascii (!) Dan
- O (#codepoints ∉ ASCII) untuk kasus rata -rata.
- O (n) untuk string dengan jumlah poin kode non-ASSASII yang tinggi (> 25%)
Optimasi String Kecil (SSO) untuk string hingga panjang sizeof(utf8_string) ! Yaitu, termasuk trailing
Pertumbuhan waktu konstan (diamortisasi)
Konversi on-the-fly antara UTF32 dan UTF8
size() mengembalikan ukuran data dalam byte , length() mengembalikan jumlah codepoint yang terkandung.
Kisaran codepoint 0x0 - 0xFFFFFFFF , yaitu 1-7 unit kode/byte per codepoint (Catatan: Ini lebih dari yang ditentukan oleh UTF8, tetapi sampai sekarang sebaliknya dianggap di luar ruang lingkup)
Dukungan lengkap untuk nol tertanam (Catatan: Semua metode yang mengambil const char* / const char32_t* juga memiliki kelebihan muatan untuk const char (&)[N] / const char32_t (&)[N] , memungkinkan interpretasi literal string yang benar dengan nol tertanam)
File header tunggal
Desain C ++ 11 langsung
Kemungkinan untuk mempersiapkan BOM UTF8 (tanda pesanan byte) ke string apa pun saat mengubahnya menjadi std :: string
Mendukung akses mentah (berbasis byte) untuk acara-acara di mana kecepatan diperlukan
Mendukung shrink_to_fit()
Urutan UTF8 yang salah akan mengarah pada perilaku yang ditentukan

Tujuan dari Tiny-UTF8

Kembali ketika saya memutuskan untuk menulis solusi UTF8 untuk C ++, saya tahu saya ingin penggantian drop-in untuk std::string Pada saat itu sebagian besar karena saya merasa rapi untuk memilikinya dan Felt C ++ selalu tidak memiliki dukungan yang dapat diakses untuk UTF8. Sejak itu, beberapa tahun telah berlalu dan situasinya belum meningkat banyak. Yang mengatakan, hal -hal yang saat ini terlihat akan meningkat - tetapi itu tidak banyak bicara, eh?

Pendapat yang dibagikan oleh banyak "pemrogram unicode berpengalaman" (misalnya diterbitkan di UTF-8 di mana-mana) adalah bahwa programmer "yang tidak berpengalaman" baik di bawah maupun lebih memperkirakan perlunya perlakuan khusus unicode dan encoding: kebutuhan ini adalah ...

Terlalu melebih -lebihkan , karena berkali -kali kita benar -benar harus kurang peduli tentang perbatasan codepoint/grapheme dalam data string;
Diperkirakan , karena jika kita benar -benar ingin "mendukung" Unicode, kita perlu memikirkan normalisasi , perbandingan karakter visual , nilai codepoint yang dipesan , urutan unit kode ilegal dan sebagainya dan sebagainya.

Unicode bukanlah ilmu roket tetapi tetap sulit untuk mendapatkan yang benar . Tiny-UTF8 tidak bermaksud menjadi solusi perusahaan seperti ICU untuk C ++. Tujuan Tiny-UTF8 adalah untuk

menjembatani sebanyak mungkin celah untuk "mendukung unicode" dengan 'hanya' mengganti std::string dengan kelas khusus yang berarti
Berikan Anda lapisan abstraksi codepoint yang menangani pengkodean panjang, tanpa Anda perhatikan.

Tiny-UTF8 bertujuan untuk menjadi dasar yang sederhana dan dapat diandalkan yang Anda bangun infrastruktur unicode. Dan, jika 1) C ++ 2XYZ harus terjadi untuk membuat kehidupan Unicode Anda lebih mudah daripada Tiny-UTF8 atau 2) Anda memutuskan untuk pergi ke Enterprise, Anda belum membuang banyak waktu mengganti std::string dengan tiny_utf8::string juga. Itulah yang membuat Tiny-UTF8 begitu menyenangkan.

Apa yang kecil-UTF8 tidak ditujukan

Konversi Antara Pengkodean ISO dan UTF8
Berinteraksi dengan UTF16
Perbandingan karakter yang terlihat ( 'ch' vs 'c'+'h' )
Normalisasi codepoint
Koreksi urutan unit kode yang tidak valid
Deteksi kluster grapheme

Catatan: ANSI Support dijatuhkan dalam versi 2.0 demi kecepatan eksekusi.

CONTOH

# include < iostream >
# include < algorithm >
# include < tinyutf8/tinyutf8.h >
using namespace std ;

int main ()
{
    tiny_utf8::string str = u8" !? olleH " ;
    for_each ( str. rbegin () , str. rend () , []( char32_t codepoint ){
      cout << codepoint;
    } );
    return 0 ;
}

Perilaku pengecualian

Tiny-UTF8 harus secara otomatis mendeteksi, apakah sistem build Anda memungkinkan penggunaan pengecualian atau tidak. Ini dilakukan dengan memeriksa makro uji fitur __cpp_exceptions .
Jika Anda ingin Tiny-UTF8 tetap menjadi noexcept , #define makro TINY_UTF8_NOEXCEPT .
Jika Anda ingin Tiny-UTF8 menggunakan strategi pengecualian yang berbeda, #define makro TINY_UTF8_THROW( location , failing_predicate ) . Untuk menggunakan pernyataan, Anda akan menulis #define TINY_UTF8_THROW( _ , pred ) assert( pred ) .
Petunjuk: Jika pengecualian dinonaktifkan, TINY_UTF8_THROW( ... ) secara otomatis didefinisikan sebagai void() . Ini bekerja dengan baik, karena semua penggunaan TINY_UTF8_THROW segera diikuti oleh A ; serta pernyataan return yang tepat dengan nilai mundur. Itu juga berarti, TINY_UTF8_THROW dapat dengan aman menjadi no-op.

Kompatibilitas ke belakang

Perubahan antara versi 4.3 dan 4.2

Class tiny_utf8::basic_utf8_string telah diganti namanya menjadi basic_string , yang lebih mirip dengan drop-in-capability untuk std::string .

Perubahan antara versi 4.1 dan 4.0

tinyutf8.h telah dipindahkan ke folder include/tinyutf8/ untuk meniru penataan banyak proyek open source berbasis C ++ lainnya.

Perubahan antara versi 4.0 dan 3.2.4

Kelas utf8_string sekarang didefinisikan di dalam namespace tiny_utf8 . Jika Anda menginginkan deklarasi lama di namespace global, #define TINY_UTF8_GLOBAL_NAMESPACE
Dukungan untuk C ++ 20: Gunakan kelas tiny_utf8::u8string , yang menggunakan char8_t sebagai tipe data yang mendasarinya (bukan char )

Perubahan Antara Versi 4.0 dan Versi 3.2

Jika Anda ingin tetap kompatibel dengan 3.2.* Dan memiliki utf8_string yang didefinisikan dalam namespace global, #define makro TINY_UTF8_GLOBAL_NAMESPACE .