Download tiny utf8 - Download de código -fonte tiny utf8

tiny utf8

C/C++

Version 4.4.3

Baixar

PEQUENO 4.4

DESCRIÇÃO

O Tiny-Utf8 é uma biblioteca para uma integração extremamente fácil do Unicode em um projeto arbitrário C ++ 11. A biblioteca consiste apenas na classe utf8_string , que atua como uma substituição de std::string . Sua implementação é com sucesso no meio entre a pegada de memória pequena e o acesso rápido. Toda a funcionalidade do std::string é, portanto, substituída pela versão UTF-32 baseada em CodePoint correspondente-traduzindo todo acesso ao UTF-8 sob o capô.

Alterações entre a versão 4.4 e 4.3

Tiny-UTF8 costumava trabalhar apenas com tipos de iterador baseados em Índice de byte. O conjunto de tipos de iterador já foi concluído com versões baseadas em codepoint e
O padrão foi alterado . r significa end c ) ( r raw_ begin / end agora retorna os iteradores baseados begin pontos c
A vantagem com os iteradores baseados em bytes é: eles geralmente são mais rápidos que os iteradores baseados em ponto. A desvantagem é: eles são invalidados muito rapidamente . Exemplo: str.erase( std::remove( str.begin() , str.end() , U'W' ) , str.end() ) funcionará, mas str.erase( std::remove( str.raw_begin() , str.raw_end() , U'W' ) , str.raw_end() ) , não sempre. O motivo é: após a chamada para std::remove , o tamanho dos dados da string pode ter alterado e a segunda chamada para str.raw_end() pode ter rendido um iterador agora invocado.

CARACTERÍSTICAS

Substituição para std::string
Leve e independente (~ 5K sloc)
Muito rápido , ou seja, decodificador, codificador e rotinas de travessia altamente otimizadas
Layout avançado de memória , ou seja, acesso aleatório é
- O (1) para cordas ascii-apenas (!) E
- O (#CodePoints ∉ ASCII) para o caso médio.
- O (n) para cordas com uma alta quantidade de pontos de código não-aCII (> 25%)
Pequeno otimização de cordas (SSO) para seqüências de strings até um comprimento codificado por UTF8 do sizeof(utf8_string) ! Isto é, incluindo o à direita
Crescimento no tempo constante (amortizado)
Conversão on-the-fly entre UTF32 e UTF8
size() retorna o tamanho dos dados em bytes , length() retorna o número de pontos de código contidos.
Faixa CodePoint de 0x0 - 0xFFFFFFFF , ou seja, 1-7 unidades de código/bytes por codepoint (Nota: Isso é mais do que especificado pelo UTF8, mas até agora considerado fora do escopo)
Suporte completo para zeros incorporados (Nota: Todos os métodos que tomam const char* / const char32_t* também têm uma sobrecarga para const char (&)[N] / const char32_t (&)[N] , permitindo a interpretação correta de literais de cordas com zeros incorporados)
Arquivo de cabeçalho único
Design C ++ 11 direto
Possibilidade de prender o UTF8 BOM (marca de pedidos de bytes) em qualquer string ao convertê -la em uma string std ::
Suporta acesso cru (baseado em bytes) para ocasiões em que a velocidade é necessária
Suporta shrink_to_fit()
As sequências UTF8 malformadas levarão a comportamentos definidos

O objetivo do minúsculo-utf8

Quando decidi escrever uma solução UTF8 para C ++, eu sabia que queria um substituto para std::string . Na época, principalmente porque achei interessante ter um e senti que o C ++ sempre não tinha suporte acessível para o UTF8. Desde então, vários anos se passaram e a situação não melhorou muito. Dito isto, as coisas atualmente parecem que estão prestes a melhorar - mas isso não diz muito, não é?

A opinião compartilhada por muitos "programadores de unicode experientes" (por exemplo, publicados no UTF-8 em todos os lugares) é que os programadores "não experientes", ambos sob e estimam a necessidade de tratamento específico para unicode e codificação: essa necessidade é ...

Superestimado , porque muitas vezes realmente devemos nos preocupar menos com as fronteiras CodePoint/Grapheme nos dados da string;
Subestimado , porque se realmente queremos "apoiar" o Unicode, precisamos pensar em normalizações , comparações de caracteres visuais , valores reservados de ponto CodePoint , seqüências ilegais de unidades de código e assim por diante.

Unicode não é ciência de foguetes, mas é difícil acertar . O Tiny-Utf8 não pretende ser uma solução corporativa como a UTI para C ++. O objetivo do minúsculo-utf8 é

Ponte o maior número de lacunas para "apoiar o Unicode" possível, apenas substituindo std::string por uma classe personalizada, o que significa
Forneça uma camada de abstração do CodePoint que cuida da codificação de comprimento de execução, sem que você perceba.

O Tiny-Utf8 pretende ser a base simples e dependável na qual você constrói a infraestrutura Unicode. E, se 1) C ++ 2xyz deverá facilitar a vida do unicode do que o minúsculo-utf8 ou 2) você decide ir para a empresa, você também não perdeu muito tempo substituindo std::string por tiny_utf8::string . É isso que torna o pequeno-utf8 tão agradável.

O que o tiny-utf8 não tem como objetivo

Conversão entre codificações ISO e UTF8
Interface com UTF16
Comparação de caracteres visíveis ( 'ch' vs. 'c'+'h' )
Normalização do CodePoint
Correção de sequências de unidades de código inválido
Detecção de Clusters de Grapheme

NOTA: A ANSI Suppport foi descartada na versão 2.0 a favor da velocidade de execução.

EXEMPLO

# include < iostream >
# include < algorithm >
# include < tinyutf8/tinyutf8.h >
using namespace std ;

int main ()
{
    tiny_utf8::string str = u8" !? olleH " ;
    for_each ( str. rbegin () , str. rend () , []( char32_t codepoint ){
      cout << codepoint;
    } );
    return 0 ;
}

Comportamento de exceção

O Tiny-UTF8 deve detectar automaticamente, se o seu sistema de construção permite o uso de exceções ou não. Isso é feito verificando o recurso Test Macro __cpp_exceptions .
Se você deseja que o minúsculo-utf8 seja noexcept de qualquer maneira, #define a macro TINY_UTF8_NOEXCEPT .
Se você deseja que o Tiny-Utf8 use uma estratégia de exceção diferente, #define a macro TINY_UTF8_THROW( location , failing_predicate ) . Para usar as afirmações, você escreveria #define TINY_UTF8_THROW( _ , pred ) assert( pred ) .
Dica: Se as exceções forem desativadas, TINY_UTF8_THROW( ... ) é definido automaticamente como void() . Isso funciona bem, porque todos os usos de TINY_UTF8_THROW são imediatamente seguidos por A ; bem como uma declaração return adequada com um valor de fallback. Isso também significa que TINY_UTF8_THROW pode ser um não-operatório com segurança.

Compatibilidade com versões anteriores

Alterações entre a versão 4.3 e 4.2

Classe tiny_utf8::basic_utf8_string foi renomeado para basic_string , que se assemelha melhor a suas capacidades para std::string .

Alterações entre a versão 4.1 e 4.0

tinyutf8.h foi movido para a pasta include/tinyutf8/ para imitar a estruturação de muitos outros projetos de código aberto baseados em C ++.

Alterações entre a versão 4.0 e 3.2.4

Classe utf8_string agora está definido no namespace tiny_utf8 . Se você deseja a antiga declaração no espaço para nome global, #define TINY_UTF8_GLOBAL_NAMESPACE
Suporte para C ++ 20: Use a classe tiny_utf8::u8string , que usa char8_t como tipo de dados subjacente (em vez de char )

Alterações entre a versão 4.0 e a versão 3.2

Se você deseja permanecer compatível com 3.2.* e ter utf8_string definido no espaço de nome global, #define a macro TINY_UTF8_GLOBAL_NAMESPACE .