sharedhashfile

SharedHashFile: Partagez des tables de hachage avec des astuces clés stables stockées dans des fichiers mappés de mémoire entre les processus arbitraires

SharedHashFile est une table de valeur / hachage de valeur de clé NoSQL légère et intégrée avec des conseils de clés stables, une file d'attente IPC à copie zéro et une bibliothèque de journalisation IPC multiplexée écrite en C pour Linux. Données accessibles directement dans la mémoire partagée; Aucune prise n'est utilisée entre SharedHashfile et le programme d'application; pas de processus serveur. API pour C&C ++.

Objectifs du projet

• Vitesse plus rapide.
• Empreinte plus simple et plus petite.
• Utilisation de la mémoire plus bas.
• Simultanément, dans l'accès à la mémoire.

Technologie

Stockage de données

Les données sont conservées dans la mémoire partagée par défaut, ce qui rend toutes les données accessibles à tous les processus. Jusqu'à 4 milliards de clés peuvent être stockées dans une seule table de hachage SharedhashFile qui est limitée uniquement par RAM disponible.

Par exemple, disons que vous avez une boîte avec 128 Go de RAM, dont 96 Go sont utilisés par les tables de hachage SharedhashFile. La boîte a 24 cœurs et il y a 24 processus (par exemple, les processus d'esclaves fourchus Nginx ou autre) accédant simultanément aux 96 Go de tables de hachage. Chaque processus partage exactement les mêmes 96 Go de mémoire partagée.

Accès direct à la mémoire

Parce qu'une paire de valeurs de clé est maintenue dans la mémoire partagée entre n processus, cette mémoire partagée peut changer et / ou se déplacer à tout moment. Par conséquent, l'obtention d'une valeur se traduit toujours par la réception d'une copie locale de thread de la valeur.

Encodage de données

Les clés et les valeurs sont actuellement des chaînes binaires, avec une longueur maximale combinée de 2 ^ 32 octets.

Collection d'allocation et de déchets

Malloc conventionnel () ne fonctionne pas dans la mémoire partagée, car nous devons utiliser des décalages au lieu de pointeurs conventionnels. Par conséquent, SharedHashFile utilise sa propre implémentation de malloc () pour la mémoire partagée.

Pour éviter les trous de mémoire, la collecte des ordures se produit de temps à autre sur la clé, insertion de valeur. Le nombre de paires de valeurs clés effectuées lors de la collecte des ordures est intentionnellement limitée par l'algorithme à un maximum de 8 192 paires, peu importe le nombre de clés insérées dans le tableau de hachage. Cela signifie que le tableau de hachage semble toujours très réactif.

Expansion de la table de hachage

SharedhashFile est conçu pour se développer gracieusement à mesure que des paires de valeurs plus clés sont insérées. Il n'y a pas d'augmentation soudaine de mémoire ni d'événements de doublement de mémoire. Et il n'y a pas de grosses pauses en raison de la réchauffage des clés en masse.

Verrouillage

Pour réduire les affirmations, il n'y a pas de verrouillage de table de hachage global unique par conception. Au lieu de cela, les clés sont déconnectées sur 256 verrous pour réduire les affirmations de verrouillage.

Clés et valeurs de longueur fixe en option

Pour les cas d'utilisation avec des niveaux d'écriture élevés, les performances peuvent souffrir en raison de trop d'appels MMAP () en raison des zones cartographiées de mémoire / rétrécissement lors de la suppression des trous de mémoire en raison des clés supprimées.

Pour améliorer les performances de l'écriture de cas d'utilisation lourde, les clés et les valeurs peuvent être fixées en taille sur l'ensemble du tableau de hachage, ce qui signifie que les clés supprimées peuvent être facilement réutilisées sans créer de trous de mémoire, et aucun système MMAP () coûteux n'est nécessaire.

L'utilisation de clés et de valeurs de longueur fixe réduit également la quantité de RAM utilisée car les tailles de clé et de valeur ne sont plus stockées, par exemple 100 millions de clés et les valeurs économiseraient 100 millions * 8 octets = 800 millions d'octets.

Stockage persistant

Les tables de hachage sont stockées dans des fichiers mappés de mémoire dans /dev/shm ce qui signifie que les données persistent même lorsqu'aucun processus n'utilise des tables de hachage. Cependant, les tables de hachage ne survivront pas à redémarrer.

Identifateurs uniques alias des astuces clés stables

Contrairement à d'autres tables de hachage, chaque clé stockée dans SharedHashfile se voit attribuer son propre UID, par exemple shf_make_hash("key", 3); uint32_t uid = shf_put_key_val(shf, "val", 3) . Pour obtenir la même clé à l'avenir, choisissez entre accéder à la clé via sa clé, ou via son UID, par exemple shf_make_hash("key", 3); shf_get_key_val_copy(shf) ou shf_get_uid_val_copy(shf, uid) .

À quoi servent les UIDS? Les UID ne prennent pas de ressources supplémentaires et peuvent être considérées comme des ressources «gratuites». L'accès à une clé par son UID est plus rapide que l'accès à la clé via sa clé. Étant donné qu'un UID n'a que 32bits de taille, il peut être facilement stocké comme référence à une clé de votre programme, ou intégrée dans les valeurs des paires de clés, de valeur ou même intégrées dans d'autres clés.

Exemple d'utilisation: si UID1 pointe vers la clé "user-id-<xyz>" , et que UID2 pointe vers la clé "facebook.com" , une autre clé "mash up" peut être "<uid1><uid2>" . Vous voulez savoir si "user-id-<xyz>" a "facebook.com" dans sa liste blanche d'URL personnelle? Voyez simplement si la clé "<uid1><uid2>" existe.

Que signifie le «stable» dans «un indice clé stable»? Cela signifie que l'UID reste le même même si les octets de clé et / ou de valeur se déplacent en mémoire.

Files d'attente IPC à copie zéro

Comment ça marche? Créez des éléments de file d'attente de taille fixe et des files d'attente pour pousser et tirer ces éléments de file d'attente vers / depuis.

Exemple: Imaginez deux processus Process A & Process B . Process A crée 100 000 éléments de file d'attente et 3 files d'attente; queue-free , queue-a2b et queue-b2a . Intitalement, tous les éléments de file d'attente sont poussés queue-free . Process A a ensuite Process B qui se fixe au partagehashfile afin de tirer de queue-a2b . Pour effectuer un IPC à copie zéro, puis Process A peut extraire des éléments de file d'attente à partir des éléments queue-free , manipuler la taille fixe, partager des éléments de file d'attente de mémoire et pousser les éléments de file d'attente dans queue-a2b . Process B fait le contraire; Tire les éléments de la file d'attente de queue-a2b , manipule les éléments de file d'attente de la file d'attente à la taille fixe et partagés et pousse les éléments de file d'attente dans queue-b2a . Process A peut également retirer les éléments de file d'attente de queue-b2a afin de digérer les résultats du Process B .

Alors, combien d'éléments de file d'attente par seconde peuvent être déplacés d'avant en arrière par Processes A et Process B ? Sur un ordinateur portable Lenovo W530, alors environ 90 millions par seconde si les deux Process A et Process B sont écrits en C.

Remarque: Lorsqu'un élément de file d'attente est déplacé d'une file d'attente à une autre, il n'est pas copié, seule une référence est mise à jour.

Journalisation IPC multiplexée

Comment ça marche? Process A appelle shf_log_thread_new () qui crée un tampon de journal de mémoire partagé et un thread de sortie de journal qui surveille périodiquement pour les nouvelles lignes de journal. Process B appelle SHF_LOG_ATTACH_EXISTING () pour démarrer la connexion au même journal partagé. Log à l'aide de C macros shf_plain () et shf_debug (). Si shf_log_thread_new () n'a pas été appelé, la sortie va automatiquement à stdout, sinon la journalisation est multiplexée par le fil de sortie du journal.

Exemple de sortie:

 sharedhashfile$ cat debug/test.q.shf.t.tout
1..10
=0.000000 23056 pid 23056 started; mode is 'c2c'
=0.000013 23056 - SHF_SNPRINTF() // 'test-23056-ipc-queue'
ok 1 -    c2*: shf_attach()          works for non-existing file as expected
=0.000002 23060 shf.monitor: monitoring pid 23056 to delete /dev/shm/test-23056-ipc-queue.shf
1..7
=0.000001 23064 pid 23064 started; mode is '4c'
=0.000010 23064 - SHF_SNPRINTF() // 'test-23064-ipc-queue'
ok 1 -     4c: shf_attach_existing() works for existing file as expected
#0.003948 1 --> auto mapped to thread id 23061
#0.003948 1 shf_log_thread(shf=?){}
ok 2 -    c2*: put lock in value as expected
ok 3 -    c2*: shf_q_new() returned as expected
ok 4 -    c2*: moved   expected number of new queue items // estimate 51,044,225 q items per second without contention
#0.131327 2 --> auto mapped to thread id 23064
#0.131327 2 '4c' mode; behaving as client
ok 2 -     4c: shf_q_get_name('qid-free') returned qid as expected
ok 3 -     4c: shf_q_get_name('qid-a2b' ) returned qid as expected
ok 4 -     4c: shf_q_get_name('qid-b2a' ) returned qid as expected
#0.158467 2 shf_race_start() // 2 horses started after 0.000001 seconds
#0.158474 2 testing process b IPC queue a2b --> b2a speed
#0.158467 3 --> auto mapped to thread id 23056
#0.158467 3 shf_race_start() // 2 horses started after 0.027820 seconds
#0.158484 3 testing process a IPC queue b2a --> a2b speed
ok 5 -     4c: moved   expected number of new queue items // estimate 53,106,512 q items per second with contention
#0.179207 2 testing process b IPC lock speed
ok 6 -     4c: got lock value address as expected
ok 5 -    c2*: moved   expected number of new queue items // estimate 52,951,698 q items per second with contention
#0.180467 3 testing process a IPC lock speed
ok 6 -    c2*: got lock value address as expected
#0.180475 3 shf_race_start() // 2 horses started after 0.000000 seconds
#0.180475 2 shf_race_start() // 2 horses started after 0.001165 seconds
ok 7 -    c2*: rw lock expected number of times           // estimate 4,422,109 locks per second; with contention
ok 7 -     4c: rw lock expected number of times           // estimate 4,411,319 locks per second; with contention
#0.633875 2 ending child
ok 8 -    c2*: rw lock expected number of times           // estimate 51,144,435 locks per second; without contention
ok 9 -    c2*: rw lock expected number of times           // estimate 381,821,029 locks per second; without lock, just loop
ok 10 -    c2*: test still alive
#0.677166 3 ending parent
#0.677177 3 shf_del(shf=?)
#0.677180 3 - SHF_SNPRINTF() // 'du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/'
#0.677181 3 shf_detach(shf=?)
#0.677183 3 shf_log_thread_del(shf=?) // waiting for log thread to end
=0.686385 3 shf_backticks('du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/')
=0.724220 3 - read 39 bytes from the pipe
test: shf size before deletion: 394M /dev/shm/test-23056-ipc-queue.shf

Notes:

• L'exemple ci-dessus montre la sortie de 4 ID de thread différents:
  • 29912 est l'ID de thread du thread principal du programme de test; aka '3'.
  • 29916 est l'ID de thread du thread principal du programme SHF.Monitor; Ne participe jamais à la journalisation multiplexée.
  • 29917 est l'ID de thread du thread de sortie du journal du programme de test; aka '1'.
  • 29920 est l'ID de thread du thread principal du programme de test; engendré récursivement de 29912; aka '2'.
• Lignes commençant par '=':
  • Étaient sortis à STDOUT; IE Lignes enregistrées avant ou après l'existence du thread de sortie du journal.
  • Montrez l'horodatage par rapport au début de la journalisation du processus.
  • Afficher l'ID de fil à 5 ​​chiffres.
• Lignes commençant par '#':
  • Ont été sortis à STDOUT à l'aide du fil de sortie du journal.
  • Affichez l'horodatage par rapport au début du thread de sortie du journal.
  • Afficher l'ID de fil mappé à un entier court unique; 1 signifie généralement le fil de sortie du journal lui-même.
• D'autres lignes - par exemple, les lignes de test «OK» - deviendront automatiquement des lignes de journal multiplexées si le thread de sortie du journal existe.

Bâtiment

Créez le code de libération à l'aide make et du code de débogage à l'aide make debug . Les tests sont exécutés automatiquement.

 root@16vcpu:/# make clean ; make
rm -rf release debug
make: variable: PROD_SRCS=murmurhash3.c shf.c tap.c
make: variable: PROD_OBJS=release/murmurhash3.o release/shf.o release/tap.o
make: variable: TEST_SRCS=test.1.tap.c test.9.shf.c
make: variable: TEST_OBJS=release/test.1.tap.o release/test.9.shf.o
make: variable: TEST_EXES=release/test.1.tap.t release/test.9.shf.t
make: compling: release/test.1.tap.o
make: compling: release/murmurhash3.o
make: compling: release/shf.o
make: compling: release/tap.o
make: linking: release/test.1.tap.t
make: running: release/test.1.tap.t
1..1
ok 1 - All passed
make: compling: release/test.9.shf.o
make: linking: release/test.9.shf.t
make: running: release/test.9.shf.t
1..10
ok 1 - shf_attach_existing() fails for non-existing file as expected
ok 2 - shf_attach()          works for non-existing file as expected
ok 3 - shf_get_copy_via_key() could not find unput key as expected
ok 4 - shf_get_copy_via_key() could     find   put key as expected
ok 5 - put expected number of              keys // 2293581 keys per second
ok 6 - got expected number of non-existing keys // 3812667 keys per second
ok 7 - got expected number of     existing keys // 3021523 keys per second
ok 8 - graceful growth cleans up after itself as expected
ok 9 - del expected number of     existing keys // 3109056 keys per second
ok 10 - del does not   clean  up after itself as expected
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  3.4  16.9 1298  626   0.0 10 10  8  5  3  2  8  9  9  6  2  8  4  7  8  4  0.0
PUT 51.4 363.7 1410 1200   5.4  7  6  7  6  7  5  6  7  6  6  6  7  7  6  5  6  5.4 -------
PUT 65.2 336.9 2036 2036  10.1  7  5  7  6  7  6  7  7  6  6  6  7  7  6  5  6  4.6 ------
PUT 56.8 331.7 1888 1888  14.9  6  5  6  7  6  7  7  7  6  6  6  7  7  6  5  6  4.9 ------
PUT 73.8 286.8 2200 2200  18.8  7  5  5  7  7  7  7  7  6  7  6  6  6  5  5  7  3.9 -----
PUT 21.2 412.9  726  726  25.1  6  5  5  7  7  8  7  7  6  6  6  6  6  5  5  7  6.3 --------
PUT 77.9 312.0 2554 2557  29.3  6  6  6  6  6  7  6  6  6  6  6  7  6  6  6  7  4.2 -----
PUT 96.7 272.2 3044 3041  32.5  7  6  6  6  6  7  6  6  6  7  6  7  6  6  6  7  3.1 ----
PUT 63.3 303.3 1804 1804  36.6  7  6  6  5  5  7  6  7  5  6  5  7  7  6  6  7  4.2 -----
PUT 11.5 380.9  349  349  43.2  7  6  6  5  5  7  6  6  6  5  6  7  7  6  6  6  6.6 --------
PUT 26.3 444.5  895  898  49.1  7  6  6  5  5  7  6  7  6  6  6  7  7  6  6  7  5.9 -------
PUT 55.0 283.9 1862 1860  53.8  5  6  6  6  6  6  5  7  6  6  7  7  7  6  6  7  4.7 ------
PUT 75.0 312.1 2480 2480  57.4  7  7  6  5  6  5  7  7  6  6  7  7  6  7  5  6  3.6 ----
PUT 88.5 191.2 2859 2858  60.6  7  7  6  6  7  6  7  5  7  5  7  7  6  7  6  5  3.2 ----
PUT 90.6 244.9 2853 2854  63.5  7  7  5  7  7  5  7  5  7  5  7  7  6  7  7  5  2.9 ---
PUT 82.6 258.8 2455 2455  66.4  7  7  5  7  7  6  7  5  6  5  7  7  5  7  6  5  3.0 ---
PUT 69.7 185.9 1970 1970  70.3  7  7  6  5  7  6  7  6  5  5  7  7  6  7  7  5  3.9 -----
PUT 28.8 409.6  761  760  75.6  6  7  6  6  6  5  6  6  7  5  7  7  5  7  7  6  5.2 ------
PUT  7.2 490.9  230  230  82.0  6  8  5  6  6  5  5  6  5  5  7  8  6  8  7  6  6.4 --------
PUT 11.1 414.9  391  391  88.4  6  7  7  6  6  5  5  6  6  5  6  7  5  7  7  6  6.4 --------
PUT 22.3 323.4  810  810  94.5  7  8  8  7  6  6  5  7  6  5  7  2  6  8  7  7  6.1 --------
PUT 26.1 302.4 1124 1124  99.3  2  5  8  9  7  8 10  1  9  9  6  0  8  4  9  6  4.8 ------
PUT  1.6   6.8  239  239 100.0  0  0  0  0  0  0  0  0 14 58  0  0  5  0 23  0  0.7
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX 21.8 103.9    0    0 105.3  5  6  6  7  7  7  7  5  8  6  6  3  7  6  7  7  5.3 -------
MIX  0.5   8.2    0    0 114.0  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   8.5    0    0 122.8  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   9.6    0    0 131.7  6  6  6  6  7  6  6  7  6  6  7  6  7  7  6  6  8.9 -----------
MIX  0.0  11.1    0    0 140.8  6  6  7  6  7  6  5  7  6  6  7  5  7  7  5  6  9.1 ------------
MIX  0.0  12.0    0    0 149.6  6  6  7  7  6  6  6  6  7  6  6  6  6  6  6  7  8.8 -----------
MIX  0.0  12.7    0    0 158.3  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.7 -----------
MIX  0.0  14.0    0    0 167.1  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.8 -----------
MIX  0.0  14.7    0    0 176.2  7  6  6  5  6  6  7  6  7  6  6  5  6  6  7  7  9.1 ------------
MIX  0.0  16.3    0    0 185.1  6  7  7  7  7  7  6  6  6  5  6  7  6  5  6  6  8.9 -----------
MIX  0.0  17.0    0    0 194.3  6  7  7  7  7  6  6  6  6  5  6  7  6  5  6  6  9.2 ------------
MIX  0.0   7.1    0    0 200.0  9  9  7  2  3 10  9  5  0 11  4 14  3  7  6  1  5.7 -------
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   2.1    0    0 200.3  3  6  7  6  7  6  6  6  7  7  7  3  7  7  7  7  0.3
GET  0.0   2.4    0    0 208.5  6  6  6  6  7  6  6  6  7  6  7  6  6  7  6  7  8.2 ----------
GET  0.0   0.0    0    0 217.4  6  7  7  6  7  5  6  6  7  6  7  6  6  7  6  6  8.9 -----------
GET  0.0   0.0    0    0 226.3  6  7  8  6  7  5  6  6  7  5  7  5  6  7  6  5  9.0 -----------
GET  0.0   0.0    0    0 235.3  6  7  7  6  8  5  6  6  8  5  7  5  5  7  6  6  9.0 -----------
GET  0.0   0.0    0    0 244.2  6  7  6  8  7  5  6  6  7  6  7  6  6  5  6  6  8.9 -----------
GET  0.0   0.0    0    0 253.5  5  8  5  8  6  6  7  8  7  5  8  5  5  5  7  5  9.3 ------------
GET  0.0   0.0    0    0 263.1  4  8  5  9  5  5  8  9  5  5  8  5  5  5  8  5  9.6 ------------
GET  0.0   0.0    0    0 272.9  4  8  5  7  5  7  8  9  5  5  8  5  5  5  8  5  9.8 -------------
GET  0.0   0.0    0    0 282.3  5  7  5  6  8  7  7  8  5  5  7  5  5  6  7  5  9.4 ------------
GET  0.0   0.0    0    0 291.0  6  2  6  6  9 10  8  4  6  6  2  6  6  6  8  6  8.7 -----------
GET  0.0   0.0    0    0 298.7 12  0 10  3  0  9  0  0  4 12  0 12 13  9  0 15  7.7 ----------
GET  0.0   0.0    0    0 300.0 32  0  0  0  0  0  0  0  0 23  0 27 18  0  0  0  1.3 -
* MIX is 2% (2000000) del/put, 98% (12100654) get
make: built and tested release version

Notes:

• Les chiffres ci-dessus ont été générés sur un serveur Cloud RackSpace avec 16 VCPU et 60 Go de RAM.
• Une ligne de statistiques est sortie chaque seconde pendant le test.
• Pendant la phase «put», 16 processus simultanés mettent 100 millions de clés uniques dans la table de hachage.
• Ensuite, pendant la phase «mix», 16 processus simultanés obtiennent 98% des 100 millions de clés uniques tout en mettant à jour (Del / Put) les 2% autres.
• Ensuite, pendant la phase «Get», 16 processus simultanés obtiennent 100 millions de clés uniques de la table de hachage; Dans ce cas, jusqu'à 9,8 millions d'opérations par seconde sur les 16 processus simultanés.
• Au total, 300 millions d'exploitations de table de hachage sont effectuées.
• Pourquoi les performances de put varient-elles autant? Cela est dû à la cartographie de la mémoire du noyau au-dessus de la tête; «Top» montre une utilisation du processeur système plus grand.

Performance

Voici un exemple sur un ordinateur portable Lenovo W530 à 8 noyaux montrant un tableau de hachage avec 100 millions de clés, puis en faisant 2% de suppression / insert et 98% lus à un taux de plus de 10 millions d'opérations par seconde:

 $ make clean ; make release
$ PATH=release:$PATH SHF_PERFORMANCE_TEST_ENABLE=1 test.f.shf.t
...
perf testing: SharedHashFile
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.2   0.0    0    0   0.0 32 30  0  0  0  0  0 38  0  0  0  0  0  0  0  0  0.0
PUT 30.0  89.4 1767 1767   4.5 13 13 13 12 13 12 12 13  0  0  0  0  0  0  0  0  4.5 -----
PUT 30.6  70.8 1925 1925   8.6 13 12 13 13 13 12 13 12  0  0  0  0  0  0  0  0  4.1 -----
PUT 17.1 103.3 1090 1090  13.7 12 12 13 13 13 12 13 13  0  0  0  0  0  0  0  0  5.1 ------
PUT 37.2  47.6 2334 2334  16.4 13 12 13 13 13 12 12 13  0  0  0  0  0  0  0  0  2.6 ---
PUT 15.7  88.1  944  944  21.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.0 ------
PUT 15.6 105.9 1035 1035  26.1 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  4.7 ------
PUT 34.3  63.6 2180 2181  29.3 13 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  3.1 ----
PUT 39.7  48.8 2478 2478  31.9 13 12 13 12 13 13 13 12  0  0  0  0  0  0  0  0  2.7 ---
PUT 32.1  47.3 1950 1949  35.0 12 12 12 12 13 13 12 12  0  0  0  0  0  0  0  0  3.0 ----
PUT  9.2 108.6  542  542  40.6 13 13 13 12 13 12 13 13  0  0  0  0  0  0  0  0  5.7 -------
PUT  8.4 132.2  552  552  46.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.8 -------
PUT 18.1  44.8 1184 1184  51.0 12 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  4.6 ------
PUT 25.3  98.8 1622 1622  54.4 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  3.4 ----
PUT 27.0  52.5 1730 1730  56.9 12 13 12 13 13 12 12 13  0  0  0  0  0  0  0  0  2.5 ---
PUT 35.4  67.9 2260 2260  59.4 13 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 38.1  52.3 2382 2383  61.9 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 37.2  18.8 2306 2306  64.4 13 13 12 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 33.7  25.1 2059 2059  67.1 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  2.8 ---
PUT 23.8  75.4 1427 1426  70.1 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  3.0 ---
PUT 12.2 191.3  705  706  73.9 12 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  3.8 -----
PUT  4.5  15.7  270  269  80.8 12 12 13 13 13 13 12 12  0  0  0  0  0  0  0  0  6.9 ---------
PUT  5.2 129.8  347  347  87.0 13 12 13 12 13 13 12 12  0  0  0  0  0  0  0  0  6.2 --------
PUT  8.4 133.8  557  557  92.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  5.4 -------
PUT 14.3   6.2  933  933  97.3 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  4.9 ------
PUT 11.5  16.5  777  777 100.0 11 15 10 13 11 12 13 15  0  0  0  0  0  0  0  0  2.7 ---
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  2.3   5.6    0    0 101.2 12 14 11 12 12 12 13 13  0  0  0  0  0  0  0  0  1.2 -
MIX  0.3   3.9    0    0 110.4 12 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.2 ------------
MIX  0.0   4.1    0    0 119.7 13 13 13 12 12 13 13 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   5.3    0    0 129.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   5.6    0    0 139.0 13 13 12 12 12 13 13 12  0  0  0  0  0  0  0  0  9.6 ------------
MIX  0.0   6.3    0    0 148.5 13 13 13 12 12 12 13 12  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   7.0    0    0 158.4 13 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.9 -------------
MIX  0.0   7.0    0    0 167.7 12 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   7.9    0    0 176.7 13 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.1 ------------
MIX  0.0   8.7    0    0 186.5 13 12 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   8.7    0    0 196.0 13 13 13 12 12 12 12 13  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   3.5    0    0 200.0 10  8 12 15 17 11 15 11  0  0  0  0  0  0  0  0  4.0 -----
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.6    0    0 206.5 13 13 13 12 10 13 13 13  0  0  0  0  0  0  0  0  6.5 --------
GET  0.0   0.0    0    0 217.9 13 12 13 13 12 12 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 229.3 13 12 13 13 13 11 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 240.6 13 13 13 13 13 12 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 251.9 13 13 13 12 13 13 10 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 263.2 12 12 13 12 13 13 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 274.4 13 13 13 13 12 13 13 11  0  0  0  0  0  0  0  0 11.2 --------------
GET  0.0   0.0    0    0 285.9 12 13 13 13 12 12 13 13  0  0  0  0  0  0  0  0 11.5 ---------------
GET  0.0   0.0    0    0 297.3 12 13 13 13 12 12 13 12  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 300.0  6  9  0 11 22 21 24  6  0  0  0  0  0  0  0  0  2.7 ---
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 3.9G   /dev/shm/test-shf-19973.shf

Comparaison des performances avec LMDB AKA Lightning MDB

Voici le même test que ci-dessus mais en utilisant LMDB au lieu de SharedHashfile:

Notes:

• Déterminez pourquoi les performances ont réduit de moitié même si le code n'a pas changé :-(
• Pour faire du test plus de pommes pour la comparaison de table de hachage de pommes:
• mdb_get () & mdb_put () sont utilisés (au lieu de fonctions de curseur plus rapides) pour tester LMDB en tant que table de hachage.
• Le fichier DB LMDB est stocké dans / dev / shm afin que les performances du disque n'effectent pas les résultats.
• Avertissement et mixage: LMDB est conçu pour être rapide en lecture, pas en écrivant.
• Put se fait à l'aide de transactions LMDBS (lire: Global Lock?)
• PRO: Sans transactions, alors posez seulement environ 0,1 m par seconde, mais tous les threads peuvent se joindre à nous.
• CON: Avec les transactions, alors un seul thread est généralement mis à mettre en place.
• CON: Le verrouillage des transactions ne semble pas être juste et donc bien que tous les processus essaient d'écrire une transaction, un thread a tendance à toujours gagner.
• CON: L'écriture de put commence à 1,1 m en bonne santé par seconde, mais descend lentement à 0,2 m par seconde.
• Le mélange n'a utilisé que 50% de CPU. Vraisemblablement en raison d'une serrure mondiale de poids lourd?
• Obtenez des travaux très rapidement à 5.xm par seconde, mais environ la moitié de la vitesse de Sharedhashfile.
• LMDB n'a utilisé que 2,6 g contre 3,9 g pour SharedHashfile.

 $ perl perf-test-lmdb.pl
...
perf testing: LMDB aka Lightning MDB
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.0   0.0    0    0   0.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
PUT  0.0   0.0    0    0   1.1  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1.1 -
PUT  0.0   0.0    0    0   1.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.8 -
PUT  0.0   0.0    0    0   2.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   4.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   5.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   6.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   6.8  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.2  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   8.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0   8.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
...
PUT  0.0   0.0    0    0  72.1  0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0  72.3  5  0 93  2  0  0  0  0  0  0  0  0  0  0  0  0  0.2
...
PUT  0.0   0.0    0    0 100.0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.2
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  0.0   0.0    0    0 100.3 13 12 12 13 13 12 12 13  0  0  0  0  0  0  0  0  0.3
MIX  0.0   0.0    0    0 101.3 12 12 12 13 12 12 13 13  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 102.3 13 12 13 13 12 13 12 12  0  0  0  0  0  0  0  0  1.0 -
...
MIX  0.0   0.0    0    0 198.3 13 13 12 13 13 12 12 12  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 199.4 12 12 12 12 13 13 13 13  0  0  0  0  0  0  0  0  1.1 -
MIX  0.0   0.0    0    0 200.0 13 27 10  3 17  8 11 11  0  0  0  0  0  0  0  0  0.6
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.0    0    0 203.0 13 13 12 13 11 13 12 13  0  0  0  0  0  0  0  0  3.0 ---
GET  0.0   0.0    0    0 208.1 13 12 13 13 12 13 11 13  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 213.4 12 11 14 12 13 13 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 218.6 13 11 14 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 223.8 13 11 13 13 13 13 12 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 229.2 12 12 12 13 14 14 12 12  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 234.3 12 13 12 12 11 13 13 13  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 239.6 11 12 14 12 12 13 14 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 244.9 12 12 14 10 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 250.1 11 11 13 13 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 255.3 13 12 12 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 260.5 13 12 11 13 12 14 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 265.8 13 12 12 11 13 13 14 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 270.8 14 12 12 12 13 13 13 12  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 275.9 12 14 13 13 13 12 14 10  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 281.3 12 14 13 12 12 13 14 10  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 286.4 14 13 12 13 12 13 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 291.7 13 12 11 11 13 13 13 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 296.7 12 13 12 13 13 14 11 13  0  0  0  0  0  0  0  0  5.0 ------
GET  0.0   0.0    0    0 300.0 12 22 11 19 10  0  0 25  0  0  0  0  0  0  0  0  3.2 ----
GET  0.0   0.0    0    0 300.0  0  0  0  0  0  0  0100  0  0  0  0  0  0  0  0  0.0
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 2.6G   /dev/shm/test-lmdb-20848

FAIRE

• Ajoutez un mécanisme de notification de file d'attente IPC haute performance et des tests basés sur EventFD.
• Si vous utilisez un lot de file d'attente privé pour les performances, ajoutez le mécanisme de récupération des accidents des éléments.
• Ajoutez un test de performance pour la journalisation multiplexée et comparez-vous à EG LOG4CXX.
• Permettre aux valeurs de plus de 4KB d'être leur propre MMAP (); Ainsi, la file d'attente IPC et les Addrs ne changent jamais.
• Auto vidage ATexit de journal de mémoire partagée restante.
• Étendez shf_log () pour enregistrer de manière transparente à un fichier au lieu de stdout.
• Convertir shf.log pour travailler avec shf_log () au lieu de fopen plus lent ().
• Ajoutez une documentation de l'API via le doxygen pour les opérations de journal.
• Ajoutez une documentation de l'API via le doxygen pour les opérations de valeur clé.
• Ajoutez une documentation de l'API via la programmation alphabétisée.
• Ajoutez plus de tests et appliquez une couverture de code à 100%.
• Clé de support, types de données de valeur autres que les chaînes binaires avec une longueur de 32 bits.
• Soutenir la persistance en mémoire du redémarrage passé.
• Soutenir la marche de toutes les paires de valeurs, de valeur dans la table de hachage.
• Prise en charge des types de clés de pile, par exemple push, pop, shift, désastre.
• Ajoutez une couche de réseautage pour la table de hachage distribuée.
• Ajoutez des outils d'utilité de ligne de commande.
• Assurez-vous que le client peut s'écraser à tout moment sans corruption de la table de hachage.
• Port à OSS de type Linux qui ne prend pas en charge MREMAP ().
• Port vers Windows.
• Test des performances sur les disques flash.
• Commentaires par e-mail [@] SharedHashfile [.] Com avec plus de souhaits!