sharedhashfile -Download - sharedhashfile Source Code Download

sharedhashfile

C#-Quellcode

1.0.0

Herunterladen

SharedHashFile: Teilen Sie Hash -Tabellen mit stabilen wichtigen Hinweisen, die in Speicher -zugeordneten Dateien zwischen willkürlichen Prozessen gespeichert sind

SharedHashFile ist eine leichte, eingebettete NoSQL-Schlüsselwert-Store / Hash-Tabelle mit stabilen Schlüsselfällen, eine IPC-Warteschlange mit Null-Kopie und eine Multiplexed-IPC-Protokollierungsbibliothek in C für Linux. Daten, die direkt im gemeinsamen Speicher zugegriffen werden; Zwischen SharedHashFile und dem Anwendungsprogramm werden keine Sockel verwendet. Kein Serverprozess. APIs für C & C ++.

Projektziele

Schnellere Geschwindigkeit.
Einfacher und kleinerer Fußabdruck.
Geringere Speicherverwendung.
Gleichzeitig im Speicherzugriff.

Technologie

Datenspeicherung

Die Daten werden standardmäßig im gemeinsamen Speicher aufbewahrt, sodass alle Daten auf alle Prozesse zugänglich sind. Bis zu 4 Milliarden Schlüssel können in einer einzigen SharedHashfile -Hash -Tabelle gespeichert werden, die nur durch verfügbare RAM begrenzt ist.

Angenommen, Sie haben eine Box mit 128 GB RAM, von denen 96 GB von SharedHashFile -Hash -Tabellen verwendet werden. Die Box verfügt über 24 Kerne und es gibt 24 Prozesse (z. B. Sklavenprozesse oder was auch immer), die gleichzeitig auf die 96 GB Hash -Tabellen zugreifen. Jeder Prozess teilt genau die gleichen 96 GB gemeinsam genutzten Speicher.

Direkter Speicherzugriff

Da ein Schlüssel, das Wertpaar im gemeinsamen Speicher über N -Prozesse gehalten wird, kann sich dieser gemeinsame Speicher jederzeit ändern und/oder bewegen. Daher führt das Erhalten eines Wertes immer dazu, eine lokale Kopie des Wertes zu erhalten.

Datencodierung

Schlüssel und Werte sind derzeit binäre Zeichenfolgen mit einer kombinierten maximalen Länge von 2^32 Bytes.

Zuteilungs- und Müllsammlung

Herkömmlicher malloc () funktioniert nicht im gemeinsamen Speicher, da wir Offsets anstelle von herkömmlichen Zeigern verwenden müssen. Daher verwendet SharedHashFile eine eigene Implementierung von malloc () für gemeinsam genutzten Speicher.

Um Speicherlöcher zu vermeiden, erfolgt die Müllsammlung von Zeit zu Zeit nach dem Schlüssel, Werteinfügung. Die Anzahl der Schlüsselpaare, die während der Müllsammlung bewirkt sind, ist absichtlich durch den Algorithmus auf maximal 8.192 Paare eingeschränkt, unabhängig davon, wie viele Schlüssel in die Hash -Tabelle eingefügt wurden. Dies bedeutet, dass sich die Hash -Tabelle immer sehr reaktionsschnell anfühlt.

Hash -Tabellenerweiterung

SharedHashFile wurde so konzipiert, dass sie anmutig erweitert werden, da mehr wichtige Wertepaare eingefügt werden. Es gibt kein plötzliches Gedächtniserhöhung oder Gedächtnisverdopplungsereignisse. Und es gibt keine großen Pausen aufgrund von Massenerwäscheschlüsseln.

Sperren

Um die Behauptung zu verringern, gibt es keine einzelne globale Hash -Tabellenschloss durch Design. Stattdessen werden die Schlüssel über 256 Schlösser geschützt, um die Konkurrenz des Schlosses zu verringern.

Optionale Tasten und Werte fester Länge

Für Anwendungsfälle mit einem hohen Schreiben kann die Leistung aufgrund von zu vielem System MMAP () -Anrufen aufgrund von Recycling- / Schrumpfungspeicherbereichen beim Entfernen von Speicherlöchern aufgrund von gelöschten Schlüsseln leiden.

Zur Verbesserung der Leistung für Schreibwarenanlagen können Schlüssel und Werte in der gesamten Hash-Tabelle in der Größe festgelegt werden, was bedeutet, dass gelöschte Schlüssel leicht wiederverwendet werden kann, ohne Speicherlöcher zu erstellen, und es sind keine teuren Systeme mmap () erforderlich.

Die Verwendung von Tasten und Werten mit fester Länge reduziert auch die Menge des verwendeten RAM, da die Schlüssel- und Wertgrößen nicht mehr gespeichert werden, z. B. 100 Millionen Tasten und Werte würden 100 Millionen * 8 Bytes = 800 Millionen Bytes sparen.

Anhaltende Lagerung

Hash -Tabellen werden in Speicher -zugeordneten Dateien in /dev/shm gespeichert, was bedeutet, dass die Daten bestehen bleiben, auch wenn keine Prozesse Hash -Tabellen verwenden. Die Hash -Tabellen überleben jedoch nicht das Neustart.

Einzigartige Identifizierungen, auch bekannt als stabile Schlüsselfälle

Im Gegensatz zu anderen Hash -Tabellen erhält jeder in SharedHashFile gespeicherte Schlüssel eine eigene UID, z. B. shf_make_hash("key", 3); uint32_t uid = shf_put_key_val(shf, "val", 3) . Um den gleichen Schlüssel in der Zukunft zu erhalten, wählen Sie zwischen dem Schlüssel über seinen Schlüssel oder über seine UID, z. B. shf_make_hash("key", 3); shf_get_key_val_copy(shf) oder shf_get_uid_val_copy(shf, uid) .

Wofür sind UIDs nützlich? UIDs nehmen keine zusätzlichen Ressourcen ein und können als Ressource als „frei“ betrachtet werden. Der Zugriff auf einen Schlüssel durch die UID ist schneller als der Zugriff auf den Schlüssel über seinen Schlüssel. Da ein UID nur eine Größe von 32 Bits hat, kann sie leicht als Referenz auf einen Schlüssel in Ihrem Programm gespeichert oder in die Werte von Schlüssel, Wertpaaren oder sogar in andere Schlüssel eingebettet sind.

Beispiel Verwendung: Wenn UID1 auf den Schlüssel "user-id-<xyz>" und UID2 auf Schlüssel "facebook.com" verweist, könnte ein weiterer 'Mash-up-Schlüssel "<uid1><uid2>" sein. Möchten Sie herausfinden, ob "user-id-<xyz>" "facebook.com" in ihrer persönlichen URL-Whitelist enthält? Sehen Sie einfach an, ob der Schlüssel "<uid1><uid2>" existiert.

Was bedeutet der "Stabil" in "stabiler Schlüssel Hinweis"? Dies bedeutet, dass die UID auch dann gleich bleibt, auch wenn sich der Schlüssel und/oder der Wert Bytes im Speicher bewegen.

IPC-Warteschlangen ohne Kopie

Wie funktioniert es? Erstellen Sie X feste Warteschlangenelemente und y-Warteschlangen, um diese Warteschlangenelemente nach/von zu drücken und zu ziehen.

Beispiel: Stellen Sie sich zwei Prozesse Process A & Process B . Process A erstellt 100.000 Warteschlangenelemente und 3 Warteschlangen; queue-free , queue-a2b und queue-b2a . Intlich werden alle Warteschlangenelemente auf queue-free gedrückt. Verarbeiten Process A dann laichen Process B , das sich an die SharedHashfile anschließt, um aus queue-a2b zu ziehen. Um IPC mit Zero-Kopie durchzuführen, können Process A die Warteschlangenelemente aus queue-free verarbeiten, die festgelegte Größe der festgelegten Speicher-Warteschlangenelemente bearbeiten und die Warteschlangenelemente in queue-a2b drücken. Process B macht das Gegenteil; Zieht Warteschlangenelemente aus queue-a2b , manipuliert die feste Größe, die Warteschlangenelemente für die Warteschlange der Warteschlange und drückt die Warteschlangenelemente in queue-b2a . Process A kann auch Warteschlangenelemente aus queue-b2a ziehen, um die Ergebnisse aus Process B zu verdauen.

Wie viele Warteschlangenelemente pro Sekunde können also durch Processes A & Process B hin und her bewegt werden? Auf einem Lenovo W530 -Laptop dann etwa 90 Millionen pro Sekunde, wenn beide Process A & Process B in C geschrieben sind

Hinweis: Wenn ein Warteschlangenelement von einer Warteschlange in eine andere verschoben wird, wird es nicht kopiert, nur eine Referenz wird aktualisiert.

Multiplexed IPC -Protokollierung

Wie funktioniert es? Process A Anruf shf_log_thread_new (), das einen gemeinsam genutzten Speicherprotokollpuffer und einen Log -Ausgabethread erstellt, der regelmäßig für neue Protokollzeilen überwacht. Process B ruft shf_log_attach_existing () auf, um sich bei demselben gemeinsam genutzten Protokoll anzumelden. Protokollieren Sie mit C macros shf_plain () und shf_debug (). Wenn shf_log_thread_new () nicht aufgerufen wurde, wird die Ausgabe automatisch nach STDOut übernommen. Andernfalls wird die Protokollierung durch den Log -Ausgabethread multiplexiert.

Beispielausgabe:

 sharedhashfile$ cat debug/test.q.shf.t.tout
1..10
=0.000000 23056 pid 23056 started; mode is 'c2c'
=0.000013 23056 - SHF_SNPRINTF() // 'test-23056-ipc-queue'
ok 1 -    c2*: shf_attach()          works for non-existing file as expected
=0.000002 23060 shf.monitor: monitoring pid 23056 to delete /dev/shm/test-23056-ipc-queue.shf
1..7
=0.000001 23064 pid 23064 started; mode is '4c'
=0.000010 23064 - SHF_SNPRINTF() // 'test-23064-ipc-queue'
ok 1 -     4c: shf_attach_existing() works for existing file as expected
#0.003948 1 --> auto mapped to thread id 23061
#0.003948 1 shf_log_thread(shf=?){}
ok 2 -    c2*: put lock in value as expected
ok 3 -    c2*: shf_q_new() returned as expected
ok 4 -    c2*: moved   expected number of new queue items // estimate 51,044,225 q items per second without contention
#0.131327 2 --> auto mapped to thread id 23064
#0.131327 2 '4c' mode; behaving as client
ok 2 -     4c: shf_q_get_name('qid-free') returned qid as expected
ok 3 -     4c: shf_q_get_name('qid-a2b' ) returned qid as expected
ok 4 -     4c: shf_q_get_name('qid-b2a' ) returned qid as expected
#0.158467 2 shf_race_start() // 2 horses started after 0.000001 seconds
#0.158474 2 testing process b IPC queue a2b --> b2a speed
#0.158467 3 --> auto mapped to thread id 23056
#0.158467 3 shf_race_start() // 2 horses started after 0.027820 seconds
#0.158484 3 testing process a IPC queue b2a --> a2b speed
ok 5 -     4c: moved   expected number of new queue items // estimate 53,106,512 q items per second with contention
#0.179207 2 testing process b IPC lock speed
ok 6 -     4c: got lock value address as expected
ok 5 -    c2*: moved   expected number of new queue items // estimate 52,951,698 q items per second with contention
#0.180467 3 testing process a IPC lock speed
ok 6 -    c2*: got lock value address as expected
#0.180475 3 shf_race_start() // 2 horses started after 0.000000 seconds
#0.180475 2 shf_race_start() // 2 horses started after 0.001165 seconds
ok 7 -    c2*: rw lock expected number of times           // estimate 4,422,109 locks per second; with contention
ok 7 -     4c: rw lock expected number of times           // estimate 4,411,319 locks per second; with contention
#0.633875 2 ending child
ok 8 -    c2*: rw lock expected number of times           // estimate 51,144,435 locks per second; without contention
ok 9 -    c2*: rw lock expected number of times           // estimate 381,821,029 locks per second; without lock, just loop
ok 10 -    c2*: test still alive
#0.677166 3 ending parent
#0.677177 3 shf_del(shf=?)
#0.677180 3 - SHF_SNPRINTF() // 'du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/'
#0.677181 3 shf_detach(shf=?)
#0.677183 3 shf_log_thread_del(shf=?) // waiting for log thread to end
=0.686385 3 shf_backticks('du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/')
=0.724220 3 - read 39 bytes from the pipe
test: shf size before deletion: 394M /dev/shm/test-23056-ipc-queue.shf

Anmerkungen:

Das obige Beispiel zeigt die Ausgabe aus 4 verschiedenen Thread -IDs:
- 29912 ist die Thread -ID des Testprogramms -Haupt -Threads. AKA '3'.
- 29916 ist die Thread -ID des Haupt -Threads des SHF.Monitor -Programms; Nie an Multiplexed -Protokollierung beteiligt.
- 29917 ist die Thread -ID des Testprogrammprotokoll -Ausgangsthreads. AKA '1'.
- 29920 ist die Thread -ID des Testprogramms -Haupt -Threads. rekursiv von 29912 hervorgebracht; AKA '2'.
Zeilen beginnen mit '=':
- Wurden an stdout ausgegeben; IE -Zeilen, die vor oder nach dem Protokoll -Ausgangsthread angemeldet sind.
- Zeigen Sie den Zeitstempel relativ zum Beginn der Prozessprotokollierung.
- Zeigen Sie die 5 -stellige Thread -ID an.
Zeilen beginnen mit '#':
- Wurden unter Verwendung des Log -Ausgangsthreads auf STDOut ausgegeben.
- Zeigen Sie den Zeitstempel relativ zum Start des Log -Ausgangsthreads an.
- Zeigen Sie die Thread -ID an eine eindeutige kurze Ganzzahl; 1 bedeutet normalerweise, dass das Protokoll -Ausgangs -Thread selbst.
Andere Zeilen - z. B. Test "OK" -Linien - werden automatisch zu Multiplex -Protokollzeilen, wenn der Log -Ausgangsthread vorhanden ist.

Gebäude

Erstellen Sie den Release -Code mit make und dem Debug -Code mit make debug . Tests werden automatisch durchgeführt.

 root@16vcpu:/# make clean ; make
rm -rf release debug
make: variable: PROD_SRCS=murmurhash3.c shf.c tap.c
make: variable: PROD_OBJS=release/murmurhash3.o release/shf.o release/tap.o
make: variable: TEST_SRCS=test.1.tap.c test.9.shf.c
make: variable: TEST_OBJS=release/test.1.tap.o release/test.9.shf.o
make: variable: TEST_EXES=release/test.1.tap.t release/test.9.shf.t
make: compling: release/test.1.tap.o
make: compling: release/murmurhash3.o
make: compling: release/shf.o
make: compling: release/tap.o
make: linking: release/test.1.tap.t
make: running: release/test.1.tap.t
1..1
ok 1 - All passed
make: compling: release/test.9.shf.o
make: linking: release/test.9.shf.t
make: running: release/test.9.shf.t
1..10
ok 1 - shf_attach_existing() fails for non-existing file as expected
ok 2 - shf_attach()          works for non-existing file as expected
ok 3 - shf_get_copy_via_key() could not find unput key as expected
ok 4 - shf_get_copy_via_key() could     find   put key as expected
ok 5 - put expected number of              keys // 2293581 keys per second
ok 6 - got expected number of non-existing keys // 3812667 keys per second
ok 7 - got expected number of     existing keys // 3021523 keys per second
ok 8 - graceful growth cleans up after itself as expected
ok 9 - del expected number of     existing keys // 3109056 keys per second
ok 10 - del does not   clean  up after itself as expected
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  3.4  16.9 1298  626   0.0 10 10  8  5  3  2  8  9  9  6  2  8  4  7  8  4  0.0
PUT 51.4 363.7 1410 1200   5.4  7  6  7  6  7  5  6  7  6  6  6  7  7  6  5  6  5.4 -------
PUT 65.2 336.9 2036 2036  10.1  7  5  7  6  7  6  7  7  6  6  6  7  7  6  5  6  4.6 ------
PUT 56.8 331.7 1888 1888  14.9  6  5  6  7  6  7  7  7  6  6  6  7  7  6  5  6  4.9 ------
PUT 73.8 286.8 2200 2200  18.8  7  5  5  7  7  7  7  7  6  7  6  6  6  5  5  7  3.9 -----
PUT 21.2 412.9  726  726  25.1  6  5  5  7  7  8  7  7  6  6  6  6  6  5  5  7  6.3 --------
PUT 77.9 312.0 2554 2557  29.3  6  6  6  6  6  7  6  6  6  6  6  7  6  6  6  7  4.2 -----
PUT 96.7 272.2 3044 3041  32.5  7  6  6  6  6  7  6  6  6  7  6  7  6  6  6  7  3.1 ----
PUT 63.3 303.3 1804 1804  36.6  7  6  6  5  5  7  6  7  5  6  5  7  7  6  6  7  4.2 -----
PUT 11.5 380.9  349  349  43.2  7  6  6  5  5  7  6  6  6  5  6  7  7  6  6  6  6.6 --------
PUT 26.3 444.5  895  898  49.1  7  6  6  5  5  7  6  7  6  6  6  7  7  6  6  7  5.9 -------
PUT 55.0 283.9 1862 1860  53.8  5  6  6  6  6  6  5  7  6  6  7  7  7  6  6  7  4.7 ------
PUT 75.0 312.1 2480 2480  57.4  7  7  6  5  6  5  7  7  6  6  7  7  6  7  5  6  3.6 ----
PUT 88.5 191.2 2859 2858  60.6  7  7  6  6  7  6  7  5  7  5  7  7  6  7  6  5  3.2 ----
PUT 90.6 244.9 2853 2854  63.5  7  7  5  7  7  5  7  5  7  5  7  7  6  7  7  5  2.9 ---
PUT 82.6 258.8 2455 2455  66.4  7  7  5  7  7  6  7  5  6  5  7  7  5  7  6  5  3.0 ---
PUT 69.7 185.9 1970 1970  70.3  7  7  6  5  7  6  7  6  5  5  7  7  6  7  7  5  3.9 -----
PUT 28.8 409.6  761  760  75.6  6  7  6  6  6  5  6  6  7  5  7  7  5  7  7  6  5.2 ------
PUT  7.2 490.9  230  230  82.0  6  8  5  6  6  5  5  6  5  5  7  8  6  8  7  6  6.4 --------
PUT 11.1 414.9  391  391  88.4  6  7  7  6  6  5  5  6  6  5  6  7  5  7  7  6  6.4 --------
PUT 22.3 323.4  810  810  94.5  7  8  8  7  6  6  5  7  6  5  7  2  6  8  7  7  6.1 --------
PUT 26.1 302.4 1124 1124  99.3  2  5  8  9  7  8 10  1  9  9  6  0  8  4  9  6  4.8 ------
PUT  1.6   6.8  239  239 100.0  0  0  0  0  0  0  0  0 14 58  0  0  5  0 23  0  0.7
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX 21.8 103.9    0    0 105.3  5  6  6  7  7  7  7  5  8  6  6  3  7  6  7  7  5.3 -------
MIX  0.5   8.2    0    0 114.0  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   8.5    0    0 122.8  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   9.6    0    0 131.7  6  6  6  6  7  6  6  7  6  6  7  6  7  7  6  6  8.9 -----------
MIX  0.0  11.1    0    0 140.8  6  6  7  6  7  6  5  7  6  6  7  5  7  7  5  6  9.1 ------------
MIX  0.0  12.0    0    0 149.6  6  6  7  7  6  6  6  6  7  6  6  6  6  6  6  7  8.8 -----------
MIX  0.0  12.7    0    0 158.3  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.7 -----------
MIX  0.0  14.0    0    0 167.1  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.8 -----------
MIX  0.0  14.7    0    0 176.2  7  6  6  5  6  6  7  6  7  6  6  5  6  6  7  7  9.1 ------------
MIX  0.0  16.3    0    0 185.1  6  7  7  7  7  7  6  6  6  5  6  7  6  5  6  6  8.9 -----------
MIX  0.0  17.0    0    0 194.3  6  7  7  7  7  6  6  6  6  5  6  7  6  5  6  6  9.2 ------------
MIX  0.0   7.1    0    0 200.0  9  9  7  2  3 10  9  5  0 11  4 14  3  7  6  1  5.7 -------
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   2.1    0    0 200.3  3  6  7  6  7  6  6  6  7  7  7  3  7  7  7  7  0.3
GET  0.0   2.4    0    0 208.5  6  6  6  6  7  6  6  6  7  6  7  6  6  7  6  7  8.2 ----------
GET  0.0   0.0    0    0 217.4  6  7  7  6  7  5  6  6  7  6  7  6  6  7  6  6  8.9 -----------
GET  0.0   0.0    0    0 226.3  6  7  8  6  7  5  6  6  7  5  7  5  6  7  6  5  9.0 -----------
GET  0.0   0.0    0    0 235.3  6  7  7  6  8  5  6  6  8  5  7  5  5  7  6  6  9.0 -----------
GET  0.0   0.0    0    0 244.2  6  7  6  8  7  5  6  6  7  6  7  6  6  5  6  6  8.9 -----------
GET  0.0   0.0    0    0 253.5  5  8  5  8  6  6  7  8  7  5  8  5  5  5  7  5  9.3 ------------
GET  0.0   0.0    0    0 263.1  4  8  5  9  5  5  8  9  5  5  8  5  5  5  8  5  9.6 ------------
GET  0.0   0.0    0    0 272.9  4  8  5  7  5  7  8  9  5  5  8  5  5  5  8  5  9.8 -------------
GET  0.0   0.0    0    0 282.3  5  7  5  6  8  7  7  8  5  5  7  5  5  6  7  5  9.4 ------------
GET  0.0   0.0    0    0 291.0  6  2  6  6  9 10  8  4  6  6  2  6  6  6  8  6  8.7 -----------
GET  0.0   0.0    0    0 298.7 12  0 10  3  0  9  0  0  4 12  0 12 13  9  0 15  7.7 ----------
GET  0.0   0.0    0    0 300.0 32  0  0  0  0  0  0  0  0 23  0 27 18  0  0  0  1.3 -
* MIX is 2% (2000000) del/put, 98% (12100654) get
make: built and tested release version

Anmerkungen:

Die obigen Zahlen wurden auf einem Rackspace -Cloud -Server mit 16 VCPUs und 60 GB RAM generiert.
Während des Tests wird jede Sekunde eine Statistiklinie ausgegeben.
Während der Put -Phase bringen 16 gleichzeitige Prozesse 100 Millionen einzigartige Schlüssel in den Hash -Tisch.
Während der "Mix" -Phase erhalten 16 gleichzeitige Prozesse 98% von 100 Millionen einzigartigen Schlüssel, während die anderen 2% aktualisiert werden (del/put).
Während der "GET" -Phase erhalten 16 gleichzeitige Prozesse 100 Millionen einzigartige Schlüssel aus der Hash -Tabelle. In diesem Fall erhalten bis zu 9,8 Millionen Operationen pro Sekunde in den 16 gleichzeitigen Prozessen.
Insgesamt werden 300 Millionen Hash -Tabellenvorgänge durchgeführt.
Warum variiert die Leistung so sehr? Dies liegt an der Kernel Memory Mapping Overhead. 'Top' zeigt ein größeres System -CPU -Gebrauch.

Leistung

Hier ist ein Beispiel für einen 8 -Kern -Lenovo -W530 -Laptop mit einer Hash -Tabelle mit 100 Millionen Schlüssel und dann 2% Löschen/Einfügen und 98% mit einer Rate von über 10 Millionen Betriebsvorgängen pro Sekunde:

 $ make clean ; make release
$ PATH=release:$PATH SHF_PERFORMANCE_TEST_ENABLE=1 test.f.shf.t
...
perf testing: SharedHashFile
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.2   0.0    0    0   0.0 32 30  0  0  0  0  0 38  0  0  0  0  0  0  0  0  0.0
PUT 30.0  89.4 1767 1767   4.5 13 13 13 12 13 12 12 13  0  0  0  0  0  0  0  0  4.5 -----
PUT 30.6  70.8 1925 1925   8.6 13 12 13 13 13 12 13 12  0  0  0  0  0  0  0  0  4.1 -----
PUT 17.1 103.3 1090 1090  13.7 12 12 13 13 13 12 13 13  0  0  0  0  0  0  0  0  5.1 ------
PUT 37.2  47.6 2334 2334  16.4 13 12 13 13 13 12 12 13  0  0  0  0  0  0  0  0  2.6 ---
PUT 15.7  88.1  944  944  21.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.0 ------
PUT 15.6 105.9 1035 1035  26.1 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  4.7 ------
PUT 34.3  63.6 2180 2181  29.3 13 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  3.1 ----
PUT 39.7  48.8 2478 2478  31.9 13 12 13 12 13 13 13 12  0  0  0  0  0  0  0  0  2.7 ---
PUT 32.1  47.3 1950 1949  35.0 12 12 12 12 13 13 12 12  0  0  0  0  0  0  0  0  3.0 ----
PUT  9.2 108.6  542  542  40.6 13 13 13 12 13 12 13 13  0  0  0  0  0  0  0  0  5.7 -------
PUT  8.4 132.2  552  552  46.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.8 -------
PUT 18.1  44.8 1184 1184  51.0 12 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  4.6 ------
PUT 25.3  98.8 1622 1622  54.4 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  3.4 ----
PUT 27.0  52.5 1730 1730  56.9 12 13 12 13 13 12 12 13  0  0  0  0  0  0  0  0  2.5 ---
PUT 35.4  67.9 2260 2260  59.4 13 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 38.1  52.3 2382 2383  61.9 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 37.2  18.8 2306 2306  64.4 13 13 12 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 33.7  25.1 2059 2059  67.1 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  2.8 ---
PUT 23.8  75.4 1427 1426  70.1 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  3.0 ---
PUT 12.2 191.3  705  706  73.9 12 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  3.8 -----
PUT  4.5  15.7  270  269  80.8 12 12 13 13 13 13 12 12  0  0  0  0  0  0  0  0  6.9 ---------
PUT  5.2 129.8  347  347  87.0 13 12 13 12 13 13 12 12  0  0  0  0  0  0  0  0  6.2 --------
PUT  8.4 133.8  557  557  92.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  5.4 -------
PUT 14.3   6.2  933  933  97.3 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  4.9 ------
PUT 11.5  16.5  777  777 100.0 11 15 10 13 11 12 13 15  0  0  0  0  0  0  0  0  2.7 ---
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  2.3   5.6    0    0 101.2 12 14 11 12 12 12 13 13  0  0  0  0  0  0  0  0  1.2 -
MIX  0.3   3.9    0    0 110.4 12 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.2 ------------
MIX  0.0   4.1    0    0 119.7 13 13 13 12 12 13 13 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   5.3    0    0 129.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   5.6    0    0 139.0 13 13 12 12 12 13 13 12  0  0  0  0  0  0  0  0  9.6 ------------
MIX  0.0   6.3    0    0 148.5 13 13 13 12 12 12 13 12  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   7.0    0    0 158.4 13 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.9 -------------
MIX  0.0   7.0    0    0 167.7 12 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   7.9    0    0 176.7 13 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.1 ------------
MIX  0.0   8.7    0    0 186.5 13 12 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   8.7    0    0 196.0 13 13 13 12 12 12 12 13  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   3.5    0    0 200.0 10  8 12 15 17 11 15 11  0  0  0  0  0  0  0  0  4.0 -----
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.6    0    0 206.5 13 13 13 12 10 13 13 13  0  0  0  0  0  0  0  0  6.5 --------
GET  0.0   0.0    0    0 217.9 13 12 13 13 12 12 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 229.3 13 12 13 13 13 11 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 240.6 13 13 13 13 13 12 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 251.9 13 13 13 12 13 13 10 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 263.2 12 12 13 12 13 13 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 274.4 13 13 13 13 12 13 13 11  0  0  0  0  0  0  0  0 11.2 --------------
GET  0.0   0.0    0    0 285.9 12 13 13 13 12 12 13 13  0  0  0  0  0  0  0  0 11.5 ---------------
GET  0.0   0.0    0    0 297.3 12 13 13 13 12 12 13 12  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 300.0  6  9  0 11 22 21 24  6  0  0  0  0  0  0  0  0  2.7 ---
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 3.9G   /dev/shm/test-shf-19973.shf

Leistungsvergleich mit LMDB AKA Lightning MDB

Hier ist der gleiche Test wie oben, aber mit LMDB anstelle von SharedHashFile:

Anmerkungen:

Finden Sie heraus, warum sich die Leistung halbiert hat, obwohl sich der Code nicht geändert hat :-(
Um den Test mehr Äpfel zu Äpfelshash -Tabellenvergleich zu machen:
mdb_get () & mdb_put () werden verwendet (anstelle von schnelleren Cursorfunktionen), um LMDB als Hash -Tabelle zu testen.
Die LMDB -DB -Datei wird in /dev /shm gespeichert, sodass die Festplattenleistung die Ergebnisse nicht beeinflusst.
Put & Mix Haftungsausschluss: LMDB ist so konzipiert, dass sie schnell lesen und nicht schreiben.
Put erfolgt mit LMDBS -Transaktionen (lesen Sie: Global Lock?)
Pro: Ohne Transaktionen verwaltet dann nur etwa 0,1 m pro Sekunde, aber alle Threads können mitmachen.
Con: Bei Transaktionen wird normalerweise nur ein Thread ausgeführt.
Con: Transaktionssperrung scheint nicht fair zu sein, und obwohl alle Prozesse versuchen, eine Transaktion zu schreiben, gewinnt ein Thread immer mehr.
Con: Der Put -Schreiben beginnt mit gesunden 1,1 m pro Sekunde, sinkt jedoch langsam auf 0,2 m pro Sekunde.
Mix nur 50% CPU. Vermutlich aufgrund eines schweren globalen Schlosses?
Holen Sie sich bei 5,xm pro Sekunde sehr schnell, aber etwa die Hälfte der Geschwindigkeit von SharedHashfile.
LMDB verwendete nur 2,6 g gegenüber 3,9 g für SharedHashFile.

 $ perl perf-test-lmdb.pl
...
perf testing: LMDB aka Lightning MDB
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.0   0.0    0    0   0.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
PUT  0.0   0.0    0    0   1.1  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1.1 -
PUT  0.0   0.0    0    0   1.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.8 -
PUT  0.0   0.0    0    0   2.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   4.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   5.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   6.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   6.8  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.2  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   8.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0   8.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
...
PUT  0.0   0.0    0    0  72.1  0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0  72.3  5  0 93  2  0  0  0  0  0  0  0  0  0  0  0  0  0.2
...
PUT  0.0   0.0    0    0 100.0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.2
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  0.0   0.0    0    0 100.3 13 12 12 13 13 12 12 13  0  0  0  0  0  0  0  0  0.3
MIX  0.0   0.0    0    0 101.3 12 12 12 13 12 12 13 13  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 102.3 13 12 13 13 12 13 12 12  0  0  0  0  0  0  0  0  1.0 -
...
MIX  0.0   0.0    0    0 198.3 13 13 12 13 13 12 12 12  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 199.4 12 12 12 12 13 13 13 13  0  0  0  0  0  0  0  0  1.1 -
MIX  0.0   0.0    0    0 200.0 13 27 10  3 17  8 11 11  0  0  0  0  0  0  0  0  0.6
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.0    0    0 203.0 13 13 12 13 11 13 12 13  0  0  0  0  0  0  0  0  3.0 ---
GET  0.0   0.0    0    0 208.1 13 12 13 13 12 13 11 13  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 213.4 12 11 14 12 13 13 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 218.6 13 11 14 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 223.8 13 11 13 13 13 13 12 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 229.2 12 12 12 13 14 14 12 12  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 234.3 12 13 12 12 11 13 13 13  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 239.6 11 12 14 12 12 13 14 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 244.9 12 12 14 10 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 250.1 11 11 13 13 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 255.3 13 12 12 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 260.5 13 12 11 13 12 14 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 265.8 13 12 12 11 13 13 14 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 270.8 14 12 12 12 13 13 13 12  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 275.9 12 14 13 13 13 12 14 10  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 281.3 12 14 13 12 12 13 14 10  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 286.4 14 13 12 13 12 13 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 291.7 13 12 11 11 13 13 13 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 296.7 12 13 12 13 13 14 11 13  0  0  0  0  0  0  0  0  5.0 ------
GET  0.0   0.0    0    0 300.0 12 22 11 19 10  0  0 25  0  0  0  0  0  0  0  0  3.2 ----
GET  0.0   0.0    0    0 300.0  0  0  0  0  0  0  0100  0  0  0  0  0  0  0  0  0.0
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 2.6G   /dev/shm/test-lmdb-20848

Todo

Fügen Sie einen hochleistungsfähigen IPC -Warteschlangenbenachrichtigungsmechanismus und Tests auf der Grundlage von EventFD hinzu.
Wenn Sie eine private Warteschlange für die Leistung verwenden, fügen Sie Element Crash Recovery Mechanismus hinzu.
Fügen Sie den Leistungstest für Multiplexed -Protokollierung hinzu und vergleichen Sie sie mit EG log4cxx.
Lassen Sie Werte, die größer als 4 KB sind, ihr eigenes MMAP (); Daher ändern sich die IPC -Warteschlange und Protokoll -AddRs nie.
Automatischer Dump verbleibende Shared Memory Log ATEXIT.
Erweitern Sie shf_log (), um anstelle von STDOut nahtlos bei einer Datei zu protokollieren.
Konvertieren Sie SHF.Log in die Arbeit mit shf_log () anstelle von langsamer fopen ().
Fügen Sie API -Dokumentation über Doxygen für Protokollvorgänge hinzu.
Fügen Sie API -Dokumentation über Doxygen für wichtige Wertvorgänge hinzu.
Fügen Sie die API -Dokumentation über ein gebildetes Programmieren hinzu.
Fügen Sie weitere Tests hinzu und erzwingen Sie eine 100% ige Codeabdeckung.
Unterstützen Sie Schlüssel, Wertdatentypen als binäre Zeichenfolgen mit 32 -Bit -Länge.
Unterstützung in der Memory Persistenz früherer Neustart.
Unterstützen Sie das Gehen aller Schlüssel, Wertpaare in der Hash -Tabelle.
Unterstützen Sie Stack -Schlüsseltypen, z. B. Push, Pop, Verschiebung, Unschänder.
Fügen Sie die Networking -Ebene für die verteilte Hash -Tabelle hinzu.
Fügen Sie die Befehlszeilen -Utility -Tools hinzu.
Stellen Sie sicher, dass der Client jederzeit abstürzen kann, ohne die Hash -Tabelle zu beschädigen.
Port zu Linux-ähnlicher OSS, das MREMAP nicht unterstützt ().
Port zu Windows.
Testleistung auf Flash -Laufwerken.
E -Mail -Feedback [@] SharedHashFile [.] Com mit mehr Wünschen!