Inicio>Relacionado con la programación>código fuente c#
Descargar

ShashhashFile: compartir tablas hash con pistas de clave estables almacenadas en archivos mapeados de memoria entre procesos arbitrarios

Shashhashfile es una tabla / Tabla de valor de valor NOSQL liviano e integrable con sugerencias de teclas estables, una cola IPC de copia cero y una biblioteca de registro IPC multiplexada escrita en C para Linux. Datos accedidos directamente en la memoria compartida; No se utilizan enchufes entre SharedhashFile y el programa de aplicación; Sin proceso de servidor. API para C & C ++.

Proyecto de objetivos

  • Velocidad más rápida.
  • Huella más simple y más pequeña.
  • Uso de memoria inferior.
  • Concurrente, en acceso a la memoria.

Tecnología

Almacenamiento de datos

Los datos se mantienen en la memoria compartida de forma predeterminada, lo que hace que todos los datos sean accesibles para cualquier proceso. Se pueden almacenar hasta 4 mil millones de claves en una sola tabla de hash Shashhashfile que tiene un tamaño limitado solo por RAM disponible.

Por ejemplo, supongamos que tiene una caja con 128 GB de RAM, de las cuales 96 GB es utilizada por las tablas de hash Shashfile compartido. La caja tiene 24 núcleos y hay 24 procesos (por ejemplo, los procesos de esclavos bifurcados Nginx o lo que sea) al mismo tiempo que accede a los 96 GB de tablas hash. Cada proceso comparte exactamente los mismos 96 GB de memoria compartida.

Acceso directo a la memoria

Debido a que un par de valor se mantiene en la memoria compartida en los procesos N, esa memoria compartida puede cambiar y/o moverse en cualquier momento. Por lo tanto, obtener un valor siempre resulta en recibir una copia local de hilo del valor.

Codificación de datos

Las teclas y los valores son actualmente cadenas binarias, con una longitud máxima combinada de 2^32 bytes.

Asignación y recolección de basura

MALLOC Convencional () no funciona en la memoria compartida, ya que tenemos que usar compensaciones en lugar de punteros convencionales. Por lo tanto, Sharkhashfile utiliza su propia implementación de Malloc () para la memoria compartida.

Para evitar los agujeros de memoria, la recolección de basura ocurre de vez en cuando tras la inserción de valor. El número de pares de valor clave efectuados durante la recolección de basura está intencionalmente limitado por el algoritmo a un máximo de 8,192 pares, sin importar cuántas claves se hayan insertado en la tabla hash. Esto significa que la tabla hash siempre se siente muy receptiva.

Expansión de la tabla hash

Sharkhashfile está diseñado para expandirse con gracia a medida que se insertan más clave, se insertan pares de valor. No hay aumentos repentinos de memoria ni eventos de duplicación de memoria. Y no hay grandes pausas debido a las llaves de repetición en masa.

Cierre

Para reducir la contención, no existe un solo bloqueo global de tabla de hash por diseño. En su lugar, las llaves se fragmentan en 256 cerraduras para reducir la contención de cerraduras.

Teclas y valores de longitud fija opcional

Para los casos de uso con altos niveles de escritura, el rendimiento puede sufrir debido a demasiadas llamadas MMAP () del sistema debido al reciclaje / reducción de áreas mapeadas de memoria al eliminar los agujeros de memoria debido a las teclas eliminadas.

Para mejorar el rendimiento para escribir casos de uso pesado, las claves y los valores se pueden fijar en tamaño en toda la tabla hash, lo que significa que las claves eliminadas se pueden reutilizar fácilmente sin crear agujeros de memoria, y no son necesarias llamadas costosas MMAP ().

El uso de claves y valores de longitud fija también reduce la cantidad de RAM utilizada porque los tamaños de clave y valor ya no se almacenan, por ejemplo, 100 millones de claves y valores ahorrarían 100 millones * 8 bytes = 800 millones de bytes.

Almacenamiento persistente

Las tablas hash se almacenan en archivos mapeados de memoria en /dev/shm lo que significa que los datos persisten incluso cuando no hay procesos utilizando tablas hash. Sin embargo, las tablas hash no sobrevivirán a reiniciar.

Identificadores únicos, también conocidos como pistas de llave estable

A diferencia de otras tablas hash, cada llave almacenada en Shashhashfile se le asigna su propio UID, por ejemplo shf_make_hash("key", 3); uint32_t uid = shf_put_key_val(shf, "val", 3) . Para obtener la misma clave en el futuro, elija entre acceder a la clave a través de su clave, o a través de su UID, por ejemplo shf_make_hash("key", 3); shf_get_key_val_copy(shf) o shf_get_uid_val_copy(shf, uid) .

¿Para qué son útiles? Los UID no toman recursos adicionales y pueden considerarse como un recurso 'gratis'. Acceder a una clave por su UID es más rápido que acceder a la clave a través de su tecla. Debido a que un UID tiene solo 32 bits de tamaño, se puede almacenar fácilmente como referencia a una clave en su programa, o incrustarse en los valores de pares clave, de valor o incluso incrustados dentro de otras teclas.

Uso de ejemplo: Si UID1 apunta a la clave "user-id-<xyz>" , y UID2 apunta a la clave "facebook.com" , entonces otra clave 'Mash Up' podría ser "<uid1><uid2>" . ¿Quiere averiguar si "user-id-<xyz>" tiene "facebook.com" en su lista blanca de URL personal? Solo vea si existe la clave "<uid1><uid2>" .

¿Qué significa el 'establo' en la "pista de llave estable"? Significa que el UID permanece igual incluso si la clave y/o el valor de los bytes se mueven en la memoria.

Colas de IPC de copia cero

¿Cómo funciona? Cree X elementos de cola de tamaño fijo y las colas de Y para empujar y tirar de esos elementos de cola hacia/desde.

Ejemplo: Imagine dos procesos Process A y Process B . Process A crea 100,000 elementos de cola y 3 colas; queue-free , queue-a2b y queue-b2a . Intitalmente, todos los elementos de la cola se empujan a queue-free . Process A luego genera Process B que se adhiere a Sharkhashfile para extraer de queue-a2b . Para realizar IPC de copia cero, Process A puede extraer elementos de la cola de queue-free , manipular el tamaño fijo, los elementos de cola de memoria compartidos y empujar los elementos de cola a queue-a2b . Process B hace lo contrario; extrae elementos de cola de queue-a2b , manipula el tamaño fijo, compartió elementos de cola de memoria y empuja los elementos de cola a queue-b2a . Process A también puede extraer elementos de cola de queue-b2a para digerir los resultados del Process B .

Entonces, ¿cuántos elementos de cola por segundo pueden moverse de un lado a otro por Processes A y Process B ? En una computadora portátil Lenovo W530, entonces alrededor de 90 millones por segundo si tanto Process A como Process B se escriben en C.

Nota: Cuando se mueve un elemento de cola de una cola a otra, entonces no se copia, solo se actualiza una referencia.

Registro de IPC multiplexado

¿Cómo funciona? Process A llamado shf_log_thread_new () que crea un búfer de registro de memoria compartido y un hilo de salida de registro que monitorea periódicamente nuevas líneas de registro. Process B llama a shf_log_attach_existing () para comenzar a iniciar sesión en el mismo registro compartido. Registre usando C Macros shf_lain () y shf_debug (). Si no se ha llamado a shf_log_thread_new (), entonces la salida va automáticamente a stdout, de lo contrario, el registro se multiplica por el hilo de salida del registro.

Salida de ejemplo: 

 sharedhashfile$ cat debug/test.q.shf.t.tout
1..10
=0.000000 23056 pid 23056 started; mode is 'c2c'
=0.000013 23056 - SHF_SNPRINTF() // 'test-23056-ipc-queue'
ok 1 -    c2*: shf_attach()          works for non-existing file as expected
=0.000002 23060 shf.monitor: monitoring pid 23056 to delete /dev/shm/test-23056-ipc-queue.shf
1..7
=0.000001 23064 pid 23064 started; mode is '4c'
=0.000010 23064 - SHF_SNPRINTF() // 'test-23064-ipc-queue'
ok 1 -     4c: shf_attach_existing() works for existing file as expected
#0.003948 1 --> auto mapped to thread id 23061
#0.003948 1 shf_log_thread(shf=?){}
ok 2 -    c2*: put lock in value as expected
ok 3 -    c2*: shf_q_new() returned as expected
ok 4 -    c2*: moved   expected number of new queue items // estimate 51,044,225 q items per second without contention
#0.131327 2 --> auto mapped to thread id 23064
#0.131327 2 '4c' mode; behaving as client
ok 2 -     4c: shf_q_get_name('qid-free') returned qid as expected
ok 3 -     4c: shf_q_get_name('qid-a2b' ) returned qid as expected
ok 4 -     4c: shf_q_get_name('qid-b2a' ) returned qid as expected
#0.158467 2 shf_race_start() // 2 horses started after 0.000001 seconds
#0.158474 2 testing process b IPC queue a2b --> b2a speed
#0.158467 3 --> auto mapped to thread id 23056
#0.158467 3 shf_race_start() // 2 horses started after 0.027820 seconds
#0.158484 3 testing process a IPC queue b2a --> a2b speed
ok 5 -     4c: moved   expected number of new queue items // estimate 53,106,512 q items per second with contention
#0.179207 2 testing process b IPC lock speed
ok 6 -     4c: got lock value address as expected
ok 5 -    c2*: moved   expected number of new queue items // estimate 52,951,698 q items per second with contention
#0.180467 3 testing process a IPC lock speed
ok 6 -    c2*: got lock value address as expected
#0.180475 3 shf_race_start() // 2 horses started after 0.000000 seconds
#0.180475 2 shf_race_start() // 2 horses started after 0.001165 seconds
ok 7 -    c2*: rw lock expected number of times           // estimate 4,422,109 locks per second; with contention
ok 7 -     4c: rw lock expected number of times           // estimate 4,411,319 locks per second; with contention
#0.633875 2 ending child
ok 8 -    c2*: rw lock expected number of times           // estimate 51,144,435 locks per second; without contention
ok 9 -    c2*: rw lock expected number of times           // estimate 381,821,029 locks per second; without lock, just loop
ok 10 -    c2*: test still alive
#0.677166 3 ending parent
#0.677177 3 shf_del(shf=?)
#0.677180 3 - SHF_SNPRINTF() // 'du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/'
#0.677181 3 shf_detach(shf=?)
#0.677183 3 shf_log_thread_del(shf=?) // waiting for log thread to end
=0.686385 3 shf_backticks('du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/')
=0.724220 3 - read 39 bytes from the pipe
test: shf size before deletion: 394M /dev/shm/test-23056-ipc-queue.shf

Notas:

  • El ejemplo anterior muestra la salida de 4 ID de subproceso diferentes:
    • 29912 es el ID de subproceso del hilo principal del programa de prueba; AKA '3'.
    • 29916 es el ID de hilo del hilo principal del programa SHF.Monitor; Nunca participa en el registro multiplexado.
    • 29917 es el ID de subproceso del subproceso de salida del registro del programa de prueba; AKA '1'.
    • 29920 es el ID de subproceso del hilo principal del programa de prueba; generado recursivamente de 29912; también conocido como '2'.
  • Líneas que comienzan con '=':
    • Fueron salidas a stdout; Las líneas de IE registradas antes o después de la subproceso de salida de registro existe.
    • Muestre la marca de tiempo en relación con el inicio del registro del proceso.
    • Muestre la identificación de hilo de 5 dígitos.
  • Líneas que comienzan con '#':
    • Se emitieron a Stdout utilizando el hilo de salida de registro.
    • Muestre la marca de tiempo en relación con el inicio del hilo de salida del registro.
    • Muestre la ID del hilo asignada a un entero corto único; 1 Por lo general, significa el rosca de salida de registro en sí.
  • Otras líneas, por ejemplo, las líneas de prueba 'OK', se convertirán automáticamente en líneas de registro multiplexadas si existe el hilo de salida de registro.

Edificio

Cree el código de lanzamiento usando make y el código de depuración usando make debug . Las pruebas se ejecutan automáticamente. 

 root@16vcpu:/# make clean ; make
rm -rf release debug
make: variable: PROD_SRCS=murmurhash3.c shf.c tap.c
make: variable: PROD_OBJS=release/murmurhash3.o release/shf.o release/tap.o
make: variable: TEST_SRCS=test.1.tap.c test.9.shf.c
make: variable: TEST_OBJS=release/test.1.tap.o release/test.9.shf.o
make: variable: TEST_EXES=release/test.1.tap.t release/test.9.shf.t
make: compling: release/test.1.tap.o
make: compling: release/murmurhash3.o
make: compling: release/shf.o
make: compling: release/tap.o
make: linking: release/test.1.tap.t
make: running: release/test.1.tap.t
1..1
ok 1 - All passed
make: compling: release/test.9.shf.o
make: linking: release/test.9.shf.t
make: running: release/test.9.shf.t
1..10
ok 1 - shf_attach_existing() fails for non-existing file as expected
ok 2 - shf_attach()          works for non-existing file as expected
ok 3 - shf_get_copy_via_key() could not find unput key as expected
ok 4 - shf_get_copy_via_key() could     find   put key as expected
ok 5 - put expected number of              keys // 2293581 keys per second
ok 6 - got expected number of non-existing keys // 3812667 keys per second
ok 7 - got expected number of     existing keys // 3021523 keys per second
ok 8 - graceful growth cleans up after itself as expected
ok 9 - del expected number of     existing keys // 3109056 keys per second
ok 10 - del does not   clean  up after itself as expected
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  3.4  16.9 1298  626   0.0 10 10  8  5  3  2  8  9  9  6  2  8  4  7  8  4  0.0
PUT 51.4 363.7 1410 1200   5.4  7  6  7  6  7  5  6  7  6  6  6  7  7  6  5  6  5.4 -------
PUT 65.2 336.9 2036 2036  10.1  7  5  7  6  7  6  7  7  6  6  6  7  7  6  5  6  4.6 ------
PUT 56.8 331.7 1888 1888  14.9  6  5  6  7  6  7  7  7  6  6  6  7  7  6  5  6  4.9 ------
PUT 73.8 286.8 2200 2200  18.8  7  5  5  7  7  7  7  7  6  7  6  6  6  5  5  7  3.9 -----
PUT 21.2 412.9  726  726  25.1  6  5  5  7  7  8  7  7  6  6  6  6  6  5  5  7  6.3 --------
PUT 77.9 312.0 2554 2557  29.3  6  6  6  6  6  7  6  6  6  6  6  7  6  6  6  7  4.2 -----
PUT 96.7 272.2 3044 3041  32.5  7  6  6  6  6  7  6  6  6  7  6  7  6  6  6  7  3.1 ----
PUT 63.3 303.3 1804 1804  36.6  7  6  6  5  5  7  6  7  5  6  5  7  7  6  6  7  4.2 -----
PUT 11.5 380.9  349  349  43.2  7  6  6  5  5  7  6  6  6  5  6  7  7  6  6  6  6.6 --------
PUT 26.3 444.5  895  898  49.1  7  6  6  5  5  7  6  7  6  6  6  7  7  6  6  7  5.9 -------
PUT 55.0 283.9 1862 1860  53.8  5  6  6  6  6  6  5  7  6  6  7  7  7  6  6  7  4.7 ------
PUT 75.0 312.1 2480 2480  57.4  7  7  6  5  6  5  7  7  6  6  7  7  6  7  5  6  3.6 ----
PUT 88.5 191.2 2859 2858  60.6  7  7  6  6  7  6  7  5  7  5  7  7  6  7  6  5  3.2 ----
PUT 90.6 244.9 2853 2854  63.5  7  7  5  7  7  5  7  5  7  5  7  7  6  7  7  5  2.9 ---
PUT 82.6 258.8 2455 2455  66.4  7  7  5  7  7  6  7  5  6  5  7  7  5  7  6  5  3.0 ---
PUT 69.7 185.9 1970 1970  70.3  7  7  6  5  7  6  7  6  5  5  7  7  6  7  7  5  3.9 -----
PUT 28.8 409.6  761  760  75.6  6  7  6  6  6  5  6  6  7  5  7  7  5  7  7  6  5.2 ------
PUT  7.2 490.9  230  230  82.0  6  8  5  6  6  5  5  6  5  5  7  8  6  8  7  6  6.4 --------
PUT 11.1 414.9  391  391  88.4  6  7  7  6  6  5  5  6  6  5  6  7  5  7  7  6  6.4 --------
PUT 22.3 323.4  810  810  94.5  7  8  8  7  6  6  5  7  6  5  7  2  6  8  7  7  6.1 --------
PUT 26.1 302.4 1124 1124  99.3  2  5  8  9  7  8 10  1  9  9  6  0  8  4  9  6  4.8 ------
PUT  1.6   6.8  239  239 100.0  0  0  0  0  0  0  0  0 14 58  0  0  5  0 23  0  0.7
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX 21.8 103.9    0    0 105.3  5  6  6  7  7  7  7  5  8  6  6  3  7  6  7  7  5.3 -------
MIX  0.5   8.2    0    0 114.0  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   8.5    0    0 122.8  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   9.6    0    0 131.7  6  6  6  6  7  6  6  7  6  6  7  6  7  7  6  6  8.9 -----------
MIX  0.0  11.1    0    0 140.8  6  6  7  6  7  6  5  7  6  6  7  5  7  7  5  6  9.1 ------------
MIX  0.0  12.0    0    0 149.6  6  6  7  7  6  6  6  6  7  6  6  6  6  6  6  7  8.8 -----------
MIX  0.0  12.7    0    0 158.3  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.7 -----------
MIX  0.0  14.0    0    0 167.1  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.8 -----------
MIX  0.0  14.7    0    0 176.2  7  6  6  5  6  6  7  6  7  6  6  5  6  6  7  7  9.1 ------------
MIX  0.0  16.3    0    0 185.1  6  7  7  7  7  7  6  6  6  5  6  7  6  5  6  6  8.9 -----------
MIX  0.0  17.0    0    0 194.3  6  7  7  7  7  6  6  6  6  5  6  7  6  5  6  6  9.2 ------------
MIX  0.0   7.1    0    0 200.0  9  9  7  2  3 10  9  5  0 11  4 14  3  7  6  1  5.7 -------
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   2.1    0    0 200.3  3  6  7  6  7  6  6  6  7  7  7  3  7  7  7  7  0.3
GET  0.0   2.4    0    0 208.5  6  6  6  6  7  6  6  6  7  6  7  6  6  7  6  7  8.2 ----------
GET  0.0   0.0    0    0 217.4  6  7  7  6  7  5  6  6  7  6  7  6  6  7  6  6  8.9 -----------
GET  0.0   0.0    0    0 226.3  6  7  8  6  7  5  6  6  7  5  7  5  6  7  6  5  9.0 -----------
GET  0.0   0.0    0    0 235.3  6  7  7  6  8  5  6  6  8  5  7  5  5  7  6  6  9.0 -----------
GET  0.0   0.0    0    0 244.2  6  7  6  8  7  5  6  6  7  6  7  6  6  5  6  6  8.9 -----------
GET  0.0   0.0    0    0 253.5  5  8  5  8  6  6  7  8  7  5  8  5  5  5  7  5  9.3 ------------
GET  0.0   0.0    0    0 263.1  4  8  5  9  5  5  8  9  5  5  8  5  5  5  8  5  9.6 ------------
GET  0.0   0.0    0    0 272.9  4  8  5  7  5  7  8  9  5  5  8  5  5  5  8  5  9.8 -------------
GET  0.0   0.0    0    0 282.3  5  7  5  6  8  7  7  8  5  5  7  5  5  6  7  5  9.4 ------------
GET  0.0   0.0    0    0 291.0  6  2  6  6  9 10  8  4  6  6  2  6  6  6  8  6  8.7 -----------
GET  0.0   0.0    0    0 298.7 12  0 10  3  0  9  0  0  4 12  0 12 13  9  0 15  7.7 ----------
GET  0.0   0.0    0    0 300.0 32  0  0  0  0  0  0  0  0 23  0 27 18  0  0  0  1.3 -
* MIX is 2% (2000000) del/put, 98% (12100654) get
make: built and tested release version

Notas:

  • Las cifras anteriores se generaron en un servidor en la nube Rackspace con 16 VCPU y 60 GB de RAM.
  • Se emite una línea de estadísticas cada segundo durante la prueba.
  • Durante la fase 'Put', 16 procesos concurrentes colocaron 100 millones de claves únicas en la tabla hash.
  • Luego, durante la fase de 'mezcla', 16 procesos concurrentes obtienen el 98% de 100 millones de claves únicas mientras se actualizan (Del/Put) el otro 2%.
  • Luego, durante la fase 'Get', 16 procesos concurrentes obtienen 100 millones de claves únicas de la tabla hash; En este caso, hasta 9.8 millones obtienen operaciones por segundo en los 16 procesos concurrentes.
  • En total, se realizan 300 millones de operaciones de tabla hash.
  • ¿Por qué Put Performance varía tanto? Esto se debe a la sobrecarga de mapeo de memoria del núcleo; 'Top' muestra un mayor uso de CPU del sistema.

Actuación

Aquí hay un ejemplo en una computadora portátil Lenovo W530 de 8 núcleo que muestra una tabla hash con 100 millones de claves, y luego hace un 2% de eliminación/inserción y 98% leída a una tasa de más de 10 millones de operaciones por segundo: 

 $ make clean ; make release
$ PATH=release:$PATH SHF_PERFORMANCE_TEST_ENABLE=1 test.f.shf.t
...
perf testing: SharedHashFile
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.2   0.0    0    0   0.0 32 30  0  0  0  0  0 38  0  0  0  0  0  0  0  0  0.0
PUT 30.0  89.4 1767 1767   4.5 13 13 13 12 13 12 12 13  0  0  0  0  0  0  0  0  4.5 -----
PUT 30.6  70.8 1925 1925   8.6 13 12 13 13 13 12 13 12  0  0  0  0  0  0  0  0  4.1 -----
PUT 17.1 103.3 1090 1090  13.7 12 12 13 13 13 12 13 13  0  0  0  0  0  0  0  0  5.1 ------
PUT 37.2  47.6 2334 2334  16.4 13 12 13 13 13 12 12 13  0  0  0  0  0  0  0  0  2.6 ---
PUT 15.7  88.1  944  944  21.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.0 ------
PUT 15.6 105.9 1035 1035  26.1 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  4.7 ------
PUT 34.3  63.6 2180 2181  29.3 13 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  3.1 ----
PUT 39.7  48.8 2478 2478  31.9 13 12 13 12 13 13 13 12  0  0  0  0  0  0  0  0  2.7 ---
PUT 32.1  47.3 1950 1949  35.0 12 12 12 12 13 13 12 12  0  0  0  0  0  0  0  0  3.0 ----
PUT  9.2 108.6  542  542  40.6 13 13 13 12 13 12 13 13  0  0  0  0  0  0  0  0  5.7 -------
PUT  8.4 132.2  552  552  46.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.8 -------
PUT 18.1  44.8 1184 1184  51.0 12 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  4.6 ------
PUT 25.3  98.8 1622 1622  54.4 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  3.4 ----
PUT 27.0  52.5 1730 1730  56.9 12 13 12 13 13 12 12 13  0  0  0  0  0  0  0  0  2.5 ---
PUT 35.4  67.9 2260 2260  59.4 13 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 38.1  52.3 2382 2383  61.9 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 37.2  18.8 2306 2306  64.4 13 13 12 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 33.7  25.1 2059 2059  67.1 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  2.8 ---
PUT 23.8  75.4 1427 1426  70.1 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  3.0 ---
PUT 12.2 191.3  705  706  73.9 12 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  3.8 -----
PUT  4.5  15.7  270  269  80.8 12 12 13 13 13 13 12 12  0  0  0  0  0  0  0  0  6.9 ---------
PUT  5.2 129.8  347  347  87.0 13 12 13 12 13 13 12 12  0  0  0  0  0  0  0  0  6.2 --------
PUT  8.4 133.8  557  557  92.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  5.4 -------
PUT 14.3   6.2  933  933  97.3 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  4.9 ------
PUT 11.5  16.5  777  777 100.0 11 15 10 13 11 12 13 15  0  0  0  0  0  0  0  0  2.7 ---
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  2.3   5.6    0    0 101.2 12 14 11 12 12 12 13 13  0  0  0  0  0  0  0  0  1.2 -
MIX  0.3   3.9    0    0 110.4 12 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.2 ------------
MIX  0.0   4.1    0    0 119.7 13 13 13 12 12 13 13 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   5.3    0    0 129.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   5.6    0    0 139.0 13 13 12 12 12 13 13 12  0  0  0  0  0  0  0  0  9.6 ------------
MIX  0.0   6.3    0    0 148.5 13 13 13 12 12 12 13 12  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   7.0    0    0 158.4 13 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.9 -------------
MIX  0.0   7.0    0    0 167.7 12 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   7.9    0    0 176.7 13 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.1 ------------
MIX  0.0   8.7    0    0 186.5 13 12 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   8.7    0    0 196.0 13 13 13 12 12 12 12 13  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   3.5    0    0 200.0 10  8 12 15 17 11 15 11  0  0  0  0  0  0  0  0  4.0 -----
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.6    0    0 206.5 13 13 13 12 10 13 13 13  0  0  0  0  0  0  0  0  6.5 --------
GET  0.0   0.0    0    0 217.9 13 12 13 13 12 12 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 229.3 13 12 13 13 13 11 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 240.6 13 13 13 13 13 12 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 251.9 13 13 13 12 13 13 10 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 263.2 12 12 13 12 13 13 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 274.4 13 13 13 13 12 13 13 11  0  0  0  0  0  0  0  0 11.2 --------------
GET  0.0   0.0    0    0 285.9 12 13 13 13 12 12 13 13  0  0  0  0  0  0  0  0 11.5 ---------------
GET  0.0   0.0    0    0 297.3 12 13 13 13 12 12 13 12  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 300.0  6  9  0 11 22 21 24  6  0  0  0  0  0  0  0  0  2.7 ---
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 3.9G   /dev/shm/test-shf-19973.shf

Comparación de rendimiento con LMDB AKA Lightning MDB

Aquí está la misma prueba que la anterior, pero usando LMDB en lugar de SharkhashFile:

Notas:

  • Averigüe por qué el rendimiento se ha reducido a la mitad a pesar de que el código no ha cambiado :-(
  • Para hacer que la prueba sea una comparación de la tabla más manzanas a manzanas hash:
  • Se usan mdb_get () y mdb_put () (en lugar de funciones del cursor más rápidas) para probar LMDB como una tabla hash.
  • El archivo DB LMDB se almacena en /dev /shm para que el rendimiento del disco no afecte los resultados.
  • Descargo de responsabilidad de Put & Mix: LMDB está diseñado para ser rápido en la lectura, no a escribir.
  • Put se termina usando las transacciones LMDBS (¿léase: Global Lock?)
  • Pro: sin transacciones, solo se pone solo de aproximadamente 0.1 m por segundo, pero todos los hilos pueden unirse.
  • Con: con transacciones, típicamente solo se pone un hilo.
  • Con: El bloqueo de la transacción no parece ser justo y, por lo tanto, aunque todos los procesos están tratando de escribir una transacción, un hilo tiende a ganar siempre.
  • Con: la escritura put comienza a un saludable 1.1m por segundo, pero lentamente baja a 0.2 m por segundo.
  • La mezcla usó solo 50% de CPU. ¿Presumiblemente debido a una cerradura global de peso pesado?
  • Obtenga trabajos muy rápido a 5.xm por segundo, pero aproximadamente la mitad de la velocidad de Shashhashfile.
  • LMDB solo usó 2.6G versus 3.9g para SharkhashFile. 
 $ perl perf-test-lmdb.pl
...
perf testing: LMDB aka Lightning MDB
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.0   0.0    0    0   0.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
PUT  0.0   0.0    0    0   1.1  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1.1 -
PUT  0.0   0.0    0    0   1.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.8 -
PUT  0.0   0.0    0    0   2.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   4.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   5.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   6.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   6.8  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.2  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   8.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0   8.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
...
PUT  0.0   0.0    0    0  72.1  0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0  72.3  5  0 93  2  0  0  0  0  0  0  0  0  0  0  0  0  0.2
...
PUT  0.0   0.0    0    0 100.0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.2
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  0.0   0.0    0    0 100.3 13 12 12 13 13 12 12 13  0  0  0  0  0  0  0  0  0.3
MIX  0.0   0.0    0    0 101.3 12 12 12 13 12 12 13 13  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 102.3 13 12 13 13 12 13 12 12  0  0  0  0  0  0  0  0  1.0 -
...
MIX  0.0   0.0    0    0 198.3 13 13 12 13 13 12 12 12  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 199.4 12 12 12 12 13 13 13 13  0  0  0  0  0  0  0  0  1.1 -
MIX  0.0   0.0    0    0 200.0 13 27 10  3 17  8 11 11  0  0  0  0  0  0  0  0  0.6
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.0    0    0 203.0 13 13 12 13 11 13 12 13  0  0  0  0  0  0  0  0  3.0 ---
GET  0.0   0.0    0    0 208.1 13 12 13 13 12 13 11 13  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 213.4 12 11 14 12 13 13 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 218.6 13 11 14 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 223.8 13 11 13 13 13 13 12 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 229.2 12 12 12 13 14 14 12 12  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 234.3 12 13 12 12 11 13 13 13  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 239.6 11 12 14 12 12 13 14 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 244.9 12 12 14 10 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 250.1 11 11 13 13 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 255.3 13 12 12 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 260.5 13 12 11 13 12 14 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 265.8 13 12 12 11 13 13 14 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 270.8 14 12 12 12 13 13 13 12  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 275.9 12 14 13 13 13 12 14 10  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 281.3 12 14 13 12 12 13 14 10  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 286.4 14 13 12 13 12 13 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 291.7 13 12 11 11 13 13 13 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 296.7 12 13 12 13 13 14 11 13  0  0  0  0  0  0  0  0  5.0 ------
GET  0.0   0.0    0    0 300.0 12 22 11 19 10  0  0 25  0  0  0  0  0  0  0  0  3.2 ----
GET  0.0   0.0    0    0 300.0  0  0  0  0  0  0  0100  0  0  0  0  0  0  0  0  0.0
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 2.6G   /dev/shm/test-lmdb-20848

HACER

  • Agregue el mecanismo de notificación de cola IPC de alto rendimiento y pruebas basadas en EVENTFD.
  • Si usa un lote de cola privada para el rendimiento, agregue el mecanismo de recuperación de choque de elementos.
  • Agregue la prueba de rendimiento para el registro multiplexado y compare con EG LOG4CXX.
  • Permitir valores más grandes que 4KB para ser su propio MMAP (); Entonces, la cola IPC y los complementos de registro nunca cambian.
  • Auto volcado restante registro de memoria compartida Atexit.
  • Extienda shf_log () para registrar perfectamente un archivo en lugar de stdout.
  • Convertir shf.log para que funcione con shf_log () en lugar de fopen más lento ().
  • Agregue la documentación de API a través de DoxyGen para operaciones de registro.
  • Agregue la documentación de API a través de DoxyGen para operaciones de valor clave.
  • Agregue la documentación de API a través de la programación alfabetizada.
  • Agregue más pruebas y haga cumplir el 100% de cobertura de código.
  • Clave de soporte, tipos de datos de valor distintos de las cadenas binarias con una longitud de 32 bits.
  • Apoya la persistencia en la memoria del reinicio del pasado.
  • Apoye la caminata de todas las clave, pares de valor en la tabla hash.
  • Soporte de tipos de llave de pila, por ejemplo, Pop, Pop, Shift, Deshift.
  • Agregue la capa de red para la tabla hash distribuida.
  • Agregar herramientas de utilidad de línea de comando.
  • Asegúrese de que el cliente pueda bloquearse en cualquier momento sin corromper la tabla hash.
  • Puerto a OSS similar a Linux que no admite mraMap ().
  • Puerto a Windows.
  • Prueba de rendimiento en unidades flash.
  • Comentarios por correo electrónico [@] Sharkhashfile [.] ¡Com con más deseos!
Expandir
Información adicional
Aplicaciones relacionadas
Recomendado para ti
Información relacionada Todo