download sharedhashfile - sharedhashfile download de código fonte

sharedhashfile

Código-fonte C#

1.0.0

Baixar

SharedHashFile: Compartilhe tabelas de hash com dicas de chave estáveis armazenadas em arquivos mapeados de memória entre processos arbitrários

O SharedHashFile é uma tabela / hash de valor de chave de chave NOSQL leve e incorporável, com dicas de chave estável, uma fila IPC de cópia zero e uma biblioteca de log IPC multiplexada escrita em C para Linux. Dados acessados diretamente na memória compartilhada; Nenhum soquetes é usado entre o SharedHashFile e o programa de aplicativos; nenhum processo de servidor. APIs para C & C ++.

Objetivos do projeto

Velocidade mais rápida.
Pegada mais simples e menor.
Uso mais baixo da memória.
Concorrente, no acesso à memória.

Tecnologia

Armazenamento de dados

Os dados são mantidos na memória compartilhada por padrão, tornando todos os dados acessíveis a qualquer processos. Até 4 bilhões de chaves podem ser armazenadas em uma única tabela de hash do SharedHashFile, que é limitada em tamanho apenas pela RAM disponível.

Por exemplo, digamos que você tenha uma caixa com 128 GB de RAM, da qual 96 GB é usada por tabelas de hash do SharedHashFile. A caixa possui 24 núcleos e existem 24 processos (por exemplo, processos de escravos bifurcados nginx ou qualquer outra coisa) acessando simultaneamente os 96 GB de tabelas de hash. Cada processo compartilha exatamente os mesmos 96 GB de memória compartilhada.

Acesso à memória direta

Como uma chave, o par de valores é mantido na memória compartilhada nos processos N, essa memória compartilhada pode mudar e/ou se mover a qualquer momento. Portanto, obter um valor sempre resulta no recebimento de um thread cópia local do valor.

Codificação de dados

Atualmente, as chaves e os valores são seqüências binárias, com um comprimento máximo combinado de 2^32 bytes.

Coleção de alocação e lixo

Malloc convencional () não funciona na memória compartilhada, pois temos que usar compensações em vez de indicadores convencionais. Portanto, o SharedHashFile usa sua própria implementação de MALLOC () para memória compartilhada.

Para evitar orifícios de memória, a coleta de lixo acontece de tempos em tempos após a chave, a inserção do valor. O número de pares de chave, efetuados durante a coleta de lixo, é intencionalmente limitado pelo algoritmo a um máximo de 8.192 pares, independentemente de quantas chaves tenham sido inseridas na tabela de hash. Isso significa que a tabela de hash sempre parece muito receptiva.

Expansão da tabela de hash

O SharedHashFile foi projetado para expandir -se graciosamente à medida que mais chave, os pares de valores são inseridos. Não há aumento repentino de memória ou eventos de duplicação de memória. E não há grandes pausas devido às chaves de reformulação em massa.

Bloqueio

Para reduzir a contenção, não existe um único bloqueio global de tabela de hash por design. Em vez disso, as teclas são empurradas em 256 bloqueios para reduzir a contenção de bloqueio.

Chaves e valores de comprimento fixo opcionais

Para casos de uso com altos níveis de escrita, o desempenho pode sofrer devido a muitas chamadas mmap () do sistema devido à reciclagem / redução de áreas mapeadas de memória ao remover orifícios de memória devido a teclas excluídas.

Para melhorar o desempenho para gravar casos de uso pesado, as chaves e os valores podem ser fixados em tamanho em toda a tabela de hash, o que significa que as teclas excluídas podem ser facilmente reutilizadas sem criar orifícios de memória, e não são necessárias chamadas caras de sistema mmap ().

O uso de teclas e valores de comprimento fixo também reduz a quantidade de RAM usada porque os tamanhos de chave e valor não são mais armazenados, por exemplo, 100 milhões de chaves e valores economizariam 100 milhões * 8 bytes = 800 milhões de bytes.

Armazenamento persistente

As tabelas de hash são armazenadas em arquivos mapeados de memória em /dev/shm o que significa que os dados persistem, mesmo quando nenhum processo está usando tabelas de hash. No entanto, as tabelas de hash não sobreviverão à reinicialização.

Identificadores únicos, também conhecidos como dicas de chave estável

Ao contrário de outras tabelas de hash, todas as teclas armazenadas no SharedHashFile recebe seu próprio UID, por exemplo, shf_make_hash("key", 3); uint32_t uid = shf_put_key_val(shf, "val", 3) . Para obter a mesma chave no futuro, escolha entre acessar a chave por meio de sua chave ou através de seu UID, por exemplo, shf_make_hash("key", 3); shf_get_key_val_copy(shf) ou shf_get_uid_val_copy(shf, uid) .

Para que serve a UIDS? Os UIDs não assumem recursos extras e podem ser considerados como recursos 'grátis'. O acesso a uma chave pelo seu UID é mais rápido do que acessar a chave por meio de sua chave. Como um UID tem apenas 32 bits de tamanho, pode ser facilmente armazenado como uma referência a uma chave no seu programa ou incorporada nos valores de chave de chave, de valores ou mesmo incorporados em outras teclas.

Exemplo de uso: se o UID1 apontar para a chave "user-id-<xyz>" , e o UID2 apontar para a chave "facebook.com" , então outra chave 'mash up' pode ser "<uid1><uid2>" . Deseja descobrir se "user-id-<xyz>" tem "facebook.com" em sua lista de permissões de URL pessoal? Basta ver se a chave "<uid1><uid2>" existe.

O que significa o 'estável' em 'dica de chave estável'? Isso significa que o UID permanece o mesmo, mesmo que a chave e/ou os bytes de valor se movam na memória.

Filas IPC zero-cópia

Como funciona? Crie x elementos de fila de tamanho fixo e filas Y para empurrar e puxar esses elementos da fila de/para.

Exemplo: Imagine dois processos Process A & Process B . Process A cria 100.000 elementos de fila e 3 filas; queue-free , queue-a2b e queue-b2a . Intitalmente, todos os elementos da fila são empurrados queue-free . Process A Process B , que se conecta ao arquivo compartilhado para extrair da queue-a2b . Para executar o IPC de cópia zero, Process A pode puxar elementos de fila de queue-free , manipular o tamanho fixo, elementos de fila de memória compartilhada e empurrar os elementos da fila para queue-a2b . Process B faz o oposto; Puxa elementos da fila queue-a2b , manipula o tamanho fixo, os elementos da fila de memória compartilhada e empurra os elementos da fila para queue-b2a . Process A também pode extrair itens da fila queue-b2a para digerir os resultados do Process B .

Então, quantos elementos da fila por segundo podem ser movidos para frente e para trás pelos Processes A & Process B ? Em um laptop Lenovo W530, então cerca de 90 milhões por segundo se ambos Process A e Process B estiverem escritos em C.

Nota: Quando um elemento da fila é movido de uma fila para outra, ela não é copiada, apenas uma referência é atualizada.

Registro de IPC multiplexado

Como funciona? Process A Chamadas SHF_LOG_THREAD_NEW (), que cria um buffer de log de memória compartilhado e um encadeamento de saída de log que monitora periodicamente para novas linhas de log. Process B chama shf_log_attach_existing () para iniciar o log no mesmo log compartilhado. Log usando as macros s shf_plain () e shf_debug (). Se shf_log_thread_new () não tiver sido chamado, a saída será automaticamente para o stdout, caso contrário, o log será multiplexado pelo encadeamento de saída do log.

Exemplo de saída:

 sharedhashfile$ cat debug/test.q.shf.t.tout
1..10
=0.000000 23056 pid 23056 started; mode is 'c2c'
=0.000013 23056 - SHF_SNPRINTF() // 'test-23056-ipc-queue'
ok 1 -    c2*: shf_attach()          works for non-existing file as expected
=0.000002 23060 shf.monitor: monitoring pid 23056 to delete /dev/shm/test-23056-ipc-queue.shf
1..7
=0.000001 23064 pid 23064 started; mode is '4c'
=0.000010 23064 - SHF_SNPRINTF() // 'test-23064-ipc-queue'
ok 1 -     4c: shf_attach_existing() works for existing file as expected
#0.003948 1 --> auto mapped to thread id 23061
#0.003948 1 shf_log_thread(shf=?){}
ok 2 -    c2*: put lock in value as expected
ok 3 -    c2*: shf_q_new() returned as expected
ok 4 -    c2*: moved   expected number of new queue items // estimate 51,044,225 q items per second without contention
#0.131327 2 --> auto mapped to thread id 23064
#0.131327 2 '4c' mode; behaving as client
ok 2 -     4c: shf_q_get_name('qid-free') returned qid as expected
ok 3 -     4c: shf_q_get_name('qid-a2b' ) returned qid as expected
ok 4 -     4c: shf_q_get_name('qid-b2a' ) returned qid as expected
#0.158467 2 shf_race_start() // 2 horses started after 0.000001 seconds
#0.158474 2 testing process b IPC queue a2b --> b2a speed
#0.158467 3 --> auto mapped to thread id 23056
#0.158467 3 shf_race_start() // 2 horses started after 0.027820 seconds
#0.158484 3 testing process a IPC queue b2a --> a2b speed
ok 5 -     4c: moved   expected number of new queue items // estimate 53,106,512 q items per second with contention
#0.179207 2 testing process b IPC lock speed
ok 6 -     4c: got lock value address as expected
ok 5 -    c2*: moved   expected number of new queue items // estimate 52,951,698 q items per second with contention
#0.180467 3 testing process a IPC lock speed
ok 6 -    c2*: got lock value address as expected
#0.180475 3 shf_race_start() // 2 horses started after 0.000000 seconds
#0.180475 2 shf_race_start() // 2 horses started after 0.001165 seconds
ok 7 -    c2*: rw lock expected number of times           // estimate 4,422,109 locks per second; with contention
ok 7 -     4c: rw lock expected number of times           // estimate 4,411,319 locks per second; with contention
#0.633875 2 ending child
ok 8 -    c2*: rw lock expected number of times           // estimate 51,144,435 locks per second; without contention
ok 9 -    c2*: rw lock expected number of times           // estimate 381,821,029 locks per second; without lock, just loop
ok 10 -    c2*: test still alive
#0.677166 3 ending parent
#0.677177 3 shf_del(shf=?)
#0.677180 3 - SHF_SNPRINTF() // 'du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/'
#0.677181 3 shf_detach(shf=?)
#0.677183 3 shf_log_thread_del(shf=?) // waiting for log thread to end
=0.686385 3 shf_backticks('du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/')
=0.724220 3 - read 39 bytes from the pipe
test: shf size before deletion: 394M /dev/shm/test-23056-ipc-queue.shf

Notas:

O exemplo acima mostra a saída de 4 IDs de encadeamento diferentes:
- 29912 é o ID do thread do tópico principal do programa de teste; aka '3'.
- 29916 é o ID do thread do tópico principal do programa shf.monitor; Nunca participa do log multiplexado.
- 29917 é o ID do thread do thread de saída de log do programa de teste; aka '1'.
- 29920 é o ID do thread do tópico principal do programa de teste; Recursivamente gerado de 29912; aka '2'.
Linhas começando com '=':
- Foram emitidos para stdout; IE Linhas registradas antes ou depois do encadeamento de saída do log existe.
- Mostre o carimbo de hora em relação ao início do registro do processo.
- Mostre o ID do thread de 5 dígitos.
Linhas começando com '#':
- Foram emitidos para stdout usando o encadeamento de saída do log.
- Mostre o carimbo de hora em relação ao início do encadeamento de saída do log.
- Mostre o ID do tópico mapeado para um número inteiro curto exclusivo; 1 geralmente significa o próprio thread de saída de log.
Outras linhas - por exemplo, linhas 'ok' - se tornarão automaticamente linhas de log multiplexadas se existir o encadeamento de saída de log.

Prédio

Crie o código de liberação usando make e o código de depuração usando make debug . Os testes são executados automaticamente.

 root@16vcpu:/# make clean ; make
rm -rf release debug
make: variable: PROD_SRCS=murmurhash3.c shf.c tap.c
make: variable: PROD_OBJS=release/murmurhash3.o release/shf.o release/tap.o
make: variable: TEST_SRCS=test.1.tap.c test.9.shf.c
make: variable: TEST_OBJS=release/test.1.tap.o release/test.9.shf.o
make: variable: TEST_EXES=release/test.1.tap.t release/test.9.shf.t
make: compling: release/test.1.tap.o
make: compling: release/murmurhash3.o
make: compling: release/shf.o
make: compling: release/tap.o
make: linking: release/test.1.tap.t
make: running: release/test.1.tap.t
1..1
ok 1 - All passed
make: compling: release/test.9.shf.o
make: linking: release/test.9.shf.t
make: running: release/test.9.shf.t
1..10
ok 1 - shf_attach_existing() fails for non-existing file as expected
ok 2 - shf_attach()          works for non-existing file as expected
ok 3 - shf_get_copy_via_key() could not find unput key as expected
ok 4 - shf_get_copy_via_key() could     find   put key as expected
ok 5 - put expected number of              keys // 2293581 keys per second
ok 6 - got expected number of non-existing keys // 3812667 keys per second
ok 7 - got expected number of     existing keys // 3021523 keys per second
ok 8 - graceful growth cleans up after itself as expected
ok 9 - del expected number of     existing keys // 3109056 keys per second
ok 10 - del does not   clean  up after itself as expected
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  3.4  16.9 1298  626   0.0 10 10  8  5  3  2  8  9  9  6  2  8  4  7  8  4  0.0
PUT 51.4 363.7 1410 1200   5.4  7  6  7  6  7  5  6  7  6  6  6  7  7  6  5  6  5.4 -------
PUT 65.2 336.9 2036 2036  10.1  7  5  7  6  7  6  7  7  6  6  6  7  7  6  5  6  4.6 ------
PUT 56.8 331.7 1888 1888  14.9  6  5  6  7  6  7  7  7  6  6  6  7  7  6  5  6  4.9 ------
PUT 73.8 286.8 2200 2200  18.8  7  5  5  7  7  7  7  7  6  7  6  6  6  5  5  7  3.9 -----
PUT 21.2 412.9  726  726  25.1  6  5  5  7  7  8  7  7  6  6  6  6  6  5  5  7  6.3 --------
PUT 77.9 312.0 2554 2557  29.3  6  6  6  6  6  7  6  6  6  6  6  7  6  6  6  7  4.2 -----
PUT 96.7 272.2 3044 3041  32.5  7  6  6  6  6  7  6  6  6  7  6  7  6  6  6  7  3.1 ----
PUT 63.3 303.3 1804 1804  36.6  7  6  6  5  5  7  6  7  5  6  5  7  7  6  6  7  4.2 -----
PUT 11.5 380.9  349  349  43.2  7  6  6  5  5  7  6  6  6  5  6  7  7  6  6  6  6.6 --------
PUT 26.3 444.5  895  898  49.1  7  6  6  5  5  7  6  7  6  6  6  7  7  6  6  7  5.9 -------
PUT 55.0 283.9 1862 1860  53.8  5  6  6  6  6  6  5  7  6  6  7  7  7  6  6  7  4.7 ------
PUT 75.0 312.1 2480 2480  57.4  7  7  6  5  6  5  7  7  6  6  7  7  6  7  5  6  3.6 ----
PUT 88.5 191.2 2859 2858  60.6  7  7  6  6  7  6  7  5  7  5  7  7  6  7  6  5  3.2 ----
PUT 90.6 244.9 2853 2854  63.5  7  7  5  7  7  5  7  5  7  5  7  7  6  7  7  5  2.9 ---
PUT 82.6 258.8 2455 2455  66.4  7  7  5  7  7  6  7  5  6  5  7  7  5  7  6  5  3.0 ---
PUT 69.7 185.9 1970 1970  70.3  7  7  6  5  7  6  7  6  5  5  7  7  6  7  7  5  3.9 -----
PUT 28.8 409.6  761  760  75.6  6  7  6  6  6  5  6  6  7  5  7  7  5  7  7  6  5.2 ------
PUT  7.2 490.9  230  230  82.0  6  8  5  6  6  5  5  6  5  5  7  8  6  8  7  6  6.4 --------
PUT 11.1 414.9  391  391  88.4  6  7  7  6  6  5  5  6  6  5  6  7  5  7  7  6  6.4 --------
PUT 22.3 323.4  810  810  94.5  7  8  8  7  6  6  5  7  6  5  7  2  6  8  7  7  6.1 --------
PUT 26.1 302.4 1124 1124  99.3  2  5  8  9  7  8 10  1  9  9  6  0  8  4  9  6  4.8 ------
PUT  1.6   6.8  239  239 100.0  0  0  0  0  0  0  0  0 14 58  0  0  5  0 23  0  0.7
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX 21.8 103.9    0    0 105.3  5  6  6  7  7  7  7  5  8  6  6  3  7  6  7  7  5.3 -------
MIX  0.5   8.2    0    0 114.0  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   8.5    0    0 122.8  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   9.6    0    0 131.7  6  6  6  6  7  6  6  7  6  6  7  6  7  7  6  6  8.9 -----------
MIX  0.0  11.1    0    0 140.8  6  6  7  6  7  6  5  7  6  6  7  5  7  7  5  6  9.1 ------------
MIX  0.0  12.0    0    0 149.6  6  6  7  7  6  6  6  6  7  6  6  6  6  6  6  7  8.8 -----------
MIX  0.0  12.7    0    0 158.3  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.7 -----------
MIX  0.0  14.0    0    0 167.1  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.8 -----------
MIX  0.0  14.7    0    0 176.2  7  6  6  5  6  6  7  6  7  6  6  5  6  6  7  7  9.1 ------------
MIX  0.0  16.3    0    0 185.1  6  7  7  7  7  7  6  6  6  5  6  7  6  5  6  6  8.9 -----------
MIX  0.0  17.0    0    0 194.3  6  7  7  7  7  6  6  6  6  5  6  7  6  5  6  6  9.2 ------------
MIX  0.0   7.1    0    0 200.0  9  9  7  2  3 10  9  5  0 11  4 14  3  7  6  1  5.7 -------
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   2.1    0    0 200.3  3  6  7  6  7  6  6  6  7  7  7  3  7  7  7  7  0.3
GET  0.0   2.4    0    0 208.5  6  6  6  6  7  6  6  6  7  6  7  6  6  7  6  7  8.2 ----------
GET  0.0   0.0    0    0 217.4  6  7  7  6  7  5  6  6  7  6  7  6  6  7  6  6  8.9 -----------
GET  0.0   0.0    0    0 226.3  6  7  8  6  7  5  6  6  7  5  7  5  6  7  6  5  9.0 -----------
GET  0.0   0.0    0    0 235.3  6  7  7  6  8  5  6  6  8  5  7  5  5  7  6  6  9.0 -----------
GET  0.0   0.0    0    0 244.2  6  7  6  8  7  5  6  6  7  6  7  6  6  5  6  6  8.9 -----------
GET  0.0   0.0    0    0 253.5  5  8  5  8  6  6  7  8  7  5  8  5  5  5  7  5  9.3 ------------
GET  0.0   0.0    0    0 263.1  4  8  5  9  5  5  8  9  5  5  8  5  5  5  8  5  9.6 ------------
GET  0.0   0.0    0    0 272.9  4  8  5  7  5  7  8  9  5  5  8  5  5  5  8  5  9.8 -------------
GET  0.0   0.0    0    0 282.3  5  7  5  6  8  7  7  8  5  5  7  5  5  6  7  5  9.4 ------------
GET  0.0   0.0    0    0 291.0  6  2  6  6  9 10  8  4  6  6  2  6  6  6  8  6  8.7 -----------
GET  0.0   0.0    0    0 298.7 12  0 10  3  0  9  0  0  4 12  0 12 13  9  0 15  7.7 ----------
GET  0.0   0.0    0    0 300.0 32  0  0  0  0  0  0  0  0 23  0 27 18  0  0  0  1.3 -
* MIX is 2% (2000000) del/put, 98% (12100654) get
make: built and tested release version

Notas:

As figuras acima foram geradas em um servidor em nuvem de rackspace com 16 VCPUS e 60 GB de RAM.
Uma linha de estatísticas é emitida a cada segundo durante o teste.
Durante a fase 'put', 16 processos simultâneos colocam 100 milhões de chaves exclusivas na tabela de hash.
Então, durante a fase 'Mix', 16 processos simultâneos recebem 98% das 100 milhões de chaves exclusivas enquanto atualizam (Del/put) os outros 2%.
Então, durante a fase 'Get', 16 processos simultâneos recebem 100 milhões de chaves exclusivas da tabela de hash; Nesse caso, até 9,8 milhões de operações por segundo nos 16 processos simultâneos.
No total, são realizados 300 milhões de operações de tabela de hash.
Por que o desempenho de colocar varia tanto? Isso se deve ao mapeamento da memória do kernel na sobrecarga; 'Top' mostra o uso maior do sistema CPU.

Desempenho

Aqui está um exemplo em um laptop de 8 núcleo Lenovo W530 mostrando uma tabela de hash com 100 milhões de chaves e, em seguida, fazendo 2% de exclusão/inserção e 98% lidos a uma taxa de mais de 10 milhões de operações por segundo:

 $ make clean ; make release
$ PATH=release:$PATH SHF_PERFORMANCE_TEST_ENABLE=1 test.f.shf.t
...
perf testing: SharedHashFile
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.2   0.0    0    0   0.0 32 30  0  0  0  0  0 38  0  0  0  0  0  0  0  0  0.0
PUT 30.0  89.4 1767 1767   4.5 13 13 13 12 13 12 12 13  0  0  0  0  0  0  0  0  4.5 -----
PUT 30.6  70.8 1925 1925   8.6 13 12 13 13 13 12 13 12  0  0  0  0  0  0  0  0  4.1 -----
PUT 17.1 103.3 1090 1090  13.7 12 12 13 13 13 12 13 13  0  0  0  0  0  0  0  0  5.1 ------
PUT 37.2  47.6 2334 2334  16.4 13 12 13 13 13 12 12 13  0  0  0  0  0  0  0  0  2.6 ---
PUT 15.7  88.1  944  944  21.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.0 ------
PUT 15.6 105.9 1035 1035  26.1 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  4.7 ------
PUT 34.3  63.6 2180 2181  29.3 13 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  3.1 ----
PUT 39.7  48.8 2478 2478  31.9 13 12 13 12 13 13 13 12  0  0  0  0  0  0  0  0  2.7 ---
PUT 32.1  47.3 1950 1949  35.0 12 12 12 12 13 13 12 12  0  0  0  0  0  0  0  0  3.0 ----
PUT  9.2 108.6  542  542  40.6 13 13 13 12 13 12 13 13  0  0  0  0  0  0  0  0  5.7 -------
PUT  8.4 132.2  552  552  46.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.8 -------
PUT 18.1  44.8 1184 1184  51.0 12 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  4.6 ------
PUT 25.3  98.8 1622 1622  54.4 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  3.4 ----
PUT 27.0  52.5 1730 1730  56.9 12 13 12 13 13 12 12 13  0  0  0  0  0  0  0  0  2.5 ---
PUT 35.4  67.9 2260 2260  59.4 13 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 38.1  52.3 2382 2383  61.9 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 37.2  18.8 2306 2306  64.4 13 13 12 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 33.7  25.1 2059 2059  67.1 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  2.8 ---
PUT 23.8  75.4 1427 1426  70.1 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  3.0 ---
PUT 12.2 191.3  705  706  73.9 12 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  3.8 -----
PUT  4.5  15.7  270  269  80.8 12 12 13 13 13 13 12 12  0  0  0  0  0  0  0  0  6.9 ---------
PUT  5.2 129.8  347  347  87.0 13 12 13 12 13 13 12 12  0  0  0  0  0  0  0  0  6.2 --------
PUT  8.4 133.8  557  557  92.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  5.4 -------
PUT 14.3   6.2  933  933  97.3 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  4.9 ------
PUT 11.5  16.5  777  777 100.0 11 15 10 13 11 12 13 15  0  0  0  0  0  0  0  0  2.7 ---
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  2.3   5.6    0    0 101.2 12 14 11 12 12 12 13 13  0  0  0  0  0  0  0  0  1.2 -
MIX  0.3   3.9    0    0 110.4 12 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.2 ------------
MIX  0.0   4.1    0    0 119.7 13 13 13 12 12 13 13 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   5.3    0    0 129.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   5.6    0    0 139.0 13 13 12 12 12 13 13 12  0  0  0  0  0  0  0  0  9.6 ------------
MIX  0.0   6.3    0    0 148.5 13 13 13 12 12 12 13 12  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   7.0    0    0 158.4 13 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.9 -------------
MIX  0.0   7.0    0    0 167.7 12 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   7.9    0    0 176.7 13 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.1 ------------
MIX  0.0   8.7    0    0 186.5 13 12 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   8.7    0    0 196.0 13 13 13 12 12 12 12 13  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   3.5    0    0 200.0 10  8 12 15 17 11 15 11  0  0  0  0  0  0  0  0  4.0 -----
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.6    0    0 206.5 13 13 13 12 10 13 13 13  0  0  0  0  0  0  0  0  6.5 --------
GET  0.0   0.0    0    0 217.9 13 12 13 13 12 12 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 229.3 13 12 13 13 13 11 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 240.6 13 13 13 13 13 12 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 251.9 13 13 13 12 13 13 10 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 263.2 12 12 13 12 13 13 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 274.4 13 13 13 13 12 13 13 11  0  0  0  0  0  0  0  0 11.2 --------------
GET  0.0   0.0    0    0 285.9 12 13 13 13 12 12 13 13  0  0  0  0  0  0  0  0 11.5 ---------------
GET  0.0   0.0    0    0 297.3 12 13 13 13 12 12 13 12  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 300.0  6  9  0 11 22 21 24  6  0  0  0  0  0  0  0  0  2.7 ---
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 3.9G   /dev/shm/test-shf-19973.shf

Comparação de desempenho com LMDB aka Lightning MDB

Aqui está o mesmo teste acima, mas usando o LMDB em vez de compartilhar ofile:

Notas:

Descubra por que o desempenho reduziu pela metade, embora o código não tenha mudado :-(
Para tornar o teste mais maçãs para maçãs comparação de tabela de hash:
mdb_get () & mdb_put () são usados (em vez de funções mais rápidas do cursor) para testar o LMDB como uma tabela de hash.
O arquivo LMDB DB é armazenado em /dev /shm, para que o desempenho do disco não afete os resultados.
Put & Mix Isenção de responsabilidade: O LMDB foi projetado para ser rápido na leitura, não escrevendo.
O put é feito usando transações LMDBS (leia: bloqueio global?)
Pro: sem transações, coloque apenas cerca de 0,1 m por segundo, mas todos os threads entram.
CON: Com transações, normalmente, apenas um thread começa a colocar.
CON: O bloqueio de transações não parece ser justo e, portanto, embora todos os processos estejam tentando escrever uma transação, um thread tende a sempre vencer.
CON: O put Write começa a 1,1 milhão saudável por segundo, mas diminui lentamente para 0,2m por segundo.
A mistura usou apenas 50% de CPU. Presumivelmente, devido a uma trava global de peso pesado?
Funcionar muito rápido a 5.xm por segundo, mas cerca de metade da velocidade do SharedHashFile.
O LMDB usou apenas 2.6g versus 3,9G para compartilhamento compartilhado.

 $ perl perf-test-lmdb.pl
...
perf testing: LMDB aka Lightning MDB
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.0   0.0    0    0   0.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
PUT  0.0   0.0    0    0   1.1  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1.1 -
PUT  0.0   0.0    0    0   1.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.8 -
PUT  0.0   0.0    0    0   2.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   4.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   5.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   6.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   6.8  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.2  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   8.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0   8.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
...
PUT  0.0   0.0    0    0  72.1  0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0  72.3  5  0 93  2  0  0  0  0  0  0  0  0  0  0  0  0  0.2
...
PUT  0.0   0.0    0    0 100.0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.2
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  0.0   0.0    0    0 100.3 13 12 12 13 13 12 12 13  0  0  0  0  0  0  0  0  0.3
MIX  0.0   0.0    0    0 101.3 12 12 12 13 12 12 13 13  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 102.3 13 12 13 13 12 13 12 12  0  0  0  0  0  0  0  0  1.0 -
...
MIX  0.0   0.0    0    0 198.3 13 13 12 13 13 12 12 12  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 199.4 12 12 12 12 13 13 13 13  0  0  0  0  0  0  0  0  1.1 -
MIX  0.0   0.0    0    0 200.0 13 27 10  3 17  8 11 11  0  0  0  0  0  0  0  0  0.6
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.0    0    0 203.0 13 13 12 13 11 13 12 13  0  0  0  0  0  0  0  0  3.0 ---
GET  0.0   0.0    0    0 208.1 13 12 13 13 12 13 11 13  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 213.4 12 11 14 12 13 13 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 218.6 13 11 14 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 223.8 13 11 13 13 13 13 12 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 229.2 12 12 12 13 14 14 12 12  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 234.3 12 13 12 12 11 13 13 13  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 239.6 11 12 14 12 12 13 14 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 244.9 12 12 14 10 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 250.1 11 11 13 13 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 255.3 13 12 12 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 260.5 13 12 11 13 12 14 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 265.8 13 12 12 11 13 13 14 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 270.8 14 12 12 12 13 13 13 12  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 275.9 12 14 13 13 13 12 14 10  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 281.3 12 14 13 12 12 13 14 10  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 286.4 14 13 12 13 12 13 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 291.7 13 12 11 11 13 13 13 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 296.7 12 13 12 13 13 14 11 13  0  0  0  0  0  0  0  0  5.0 ------
GET  0.0   0.0    0    0 300.0 12 22 11 19 10  0  0 25  0  0  0  0  0  0  0  0  3.2 ----
GET  0.0   0.0    0    0 300.0  0  0  0  0  0  0  0100  0  0  0  0  0  0  0  0  0.0
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 2.6G   /dev/shm/test-lmdb-20848

PENDÊNCIA

Adicione o mecanismo de notificação da fila IPC de alto desempenho e testes com base no EventFD.
Se estiver usando o lote de fila privado para desempenho, adicione o mecanismo de recuperação de falhas do elemento.
Adicione o teste de desempenho para o log multiplexado e compare com o EG LOG4CXX.
Permitir que valores maiores que 4KB sejam seu próprio Mmap (); Portanto, a fila do IPC e os complementos do log nunca mudam.
Log de memória compartilhado restante do despejo automático.
Estend shf_log () para fazer login perfeitamente em um arquivo em vez de stdout.
Converta shf.log para trabalhar com shf_log () em vez de fopen mais lento ().
Adicione a documentação da API via doxygen para operações de log.
Adicione a documentação da API via doxygen para operações de valor -chave.
Adicione a documentação da API via programação alfabetizada.
Adicione mais testes e aplique 100% de cobertura de código.
Chave de suporte, tipos de dados de valor que não sejam strings binários com comprimento de 32 bits.
Apoie a persistência na memória após a reinicialização.
Apoie a caminhada de todas as chaves, pares de valor na tabela de hash.
Suportar tipos de chave de pilha, por exemplo, push, pop, turno, não dividido.
Adicione a camada de rede para a tabela de hash distribuída.
Adicione ferramentas de utilitário de linha de comando.
Verifique se o cliente pode travar a qualquer momento sem corromper a tabela de hash.
Porta para OSS do tipo Linux, que não suporta MreMap ().
Porta para Windows.
Teste o desempenho em unidades flash.
Feedback por e -mail [@] SharedHashFile [.] Com com mais desejos!