ホーム>プログラミング関連>C# ソースコード
ダウンロード

sharedhashfile：任意のプロセス間でメモリマッピングされたファイルに保存されている安定したキーヒントとハッシュテーブルを共有

SharedHashfileは、安定したキーヒント、ゼロコピーIPCキュー、およびLinuxのCで書かれた多重化されたIPCロギングライブラリを備えた軽量の埋め込み可能なNOSQLキーバリューストア /ハッシュテーブルです。共有メモリで直接アクセスされるデータ。 Sharedhashfileとアプリケーションプログラムの間にソケットは使用されません。サーバープロセスはありません。 C＆C ++のAPI。

プロジェクトの目標

  • より速い速度。
  • よりシンプルで小さくフットプリント。
  • メモリの使用量が少ない。
  • 同時、メモリアクセス。

テクノロジー

データストレージ

データはデフォルトで共有メモリに保持され、すべてのデータにアクセスしやすくなります。最大40億個のキーを、利用可能なRAMによってのみサイズが制限されている1つのSharedhashfileハッシュテーブルに保存できます。

たとえば、128GB RAMのボックスがあり、そのうち96GBがSharedhashfileハッシュテーブルで使用されているとしましょう。ボックスには24個のコアがあり、96GBのハッシュテーブルに同時にアクセスする24のプロセス（nginxフォークフォークスレーブプロセスなど）があります。各プロセスは、まったく同じ96GBの共有メモリを共有しています。

直接メモリアクセス

キー、値ペアはNプロセス全体で共有メモリに保持されるため、共有メモリはいつでも変更および/または移動する可能性があります。したがって、値を取得すると、常に値のローカルコピーがスレッドを受信します。

データエンコーディング

キーと値は現在、バイナリ文字列であり、最大長は2^32バイトです。

割り当てとごみ収集

従来のMalloc（）は、従来のポインターの代わりにオフセットを使用する必要があるため、共有メモリでは機能しません。したがって、Sharedhashfileは、共有メモリにMalloc（）の独自の実装を使用します。

メモリホールを避けるために、ゴミ収集は、キー、値の挿入時に随時起こります。ガベージコレクション中に影響を受けるキー、バリューペアの数は、ハッシュテーブルに挿入されたキーの数に関係なく、アルゴリズムによって最大8,192ペアに意図的に制限されます。これは、ハッシュテーブルが常に非常に敏感に感じられることを意味します。

ハッシュテーブルの拡張

Sharedhashfileは、より重要なペアが挿入されるにつれて、優雅に優雅に拡張するように設計されています。突然のメモリの増加やメモリの倍増イベントはありません。そして、鍵を再ハッシュするために大きな一時停止はありません。

ロック

競合を減らすために、設計による単一のグローバルハッシュテーブルロックはありません。代わりに、キーは256個のロックに覆われており、ロックの競合を減らします。

オプションの固定長さキーと値

ライティングのレベルが高いユースケースの場合、キーの削除によりメモリホールを削除する際に、メモリマッピングされた領域のリサイクル /縮小領域のために、システムMMAP（）呼び出しが多すぎるため、パフォーマンスが低下する可能性があります。

重いユースケースを書き込むためのパフォーマンスを改善するために、キーと値のサイズはハッシュテーブル全体で固定できます。つまり、削除されたキーをメモリホールを作成せずに簡単に再利用でき、高価なシステムMMAP（）呼び出しは必要ありません。

固定された長さキーと値を使用すると、キーと値のサイズが保存されなくなったため、使用されるRAMの量が減少します。たとえば、1億個のキーと値は1億 * 8バイト= 8億バイトを節約できます。

永続的なストレージ

ハッシュテーブルは/dev/shmのメモリマッピングファイルに保存されます。つまり、プロセスがハッシュテーブルを使用していない場合でもデータは持続します。ただし、ハッシュテーブルは再起動に耐えられません。

ユニークな識別剤、別名安定したキーのヒント

他のハッシュテーブルとは異なり、Sharedhashfileに保存されているすべてのキーは、独自のUID shf_make_hash("key", 3); uint32_t uid = shf_put_key_val(shf, "val", 3) 。将来同じキーを取得するには、キーを介してキーにアクセスするか、そのUIDを介してキーにアクセスするか、たとえばshf_make_hash("key", 3); shf_get_key_val_copy(shf)またはshf_get_uid_val_copy(shf, uid) 。

UIDSは何に役立ちますか？ UIDは追加のリソースを取り上げず、リソース「無料」と考えることができます。 UIDでキーにアクセスすることは、キーを介してキーにアクセスするよりも速いです。 UIDのサイズはわずか32ビットであるため、プログラムのキーへの参照として簡単に保存するか、キー、値のペア、または他のキー内に埋め込まれている値に埋め込まれます。

使用の例：UID1がキー"user-id-<xyz>"を指し、uid2がキー"facebook.com"を指している場合、別の「マッシュアップ」キーは"<uid1><uid2>"になる可能性があります。 "user-id-<xyz>"個人のURLホワイトリストに"facebook.com"があるかどうかを知りたいですか？キー"<uid1><uid2>"が存在するかどうかを確認してください。

「安定したキーヒント」の「安定した」とはどういう意味ですか？これは、キーおよび/または値のバイトがメモリ内で動き回っていても、UIDが同じままであることを意味します。

ゼロコピーIPCキュー

どのように機能しますか？ x固定サイズのキュー要素を作成し、yキューをキューにして、それらのキュー要素をプッシュおよびプルします。

例：2つのプロセスProcess A ＆ Process Bを想像してくださいb。 Process A 、100,000のキュー要素と3つのキューを作成します。 queue-free 、 queue-a2b 、およびqueue-b2a 。直観的に、すべてのキュー要素はqueue-freeにプッシュされます。 Process Aその後、sharedhashfileに付着するProcess Bを生成して、 queue-a2bから引きます。ゼロコピーIPCをProcess Aするには、 queue-freeからキュー要素をプルすることができ、固定サイズ、共有メモリキュー要素を操作し、キュー要素をqueue-a2bに押し込みます。 Process Bは反対を行います。 queue-a2bからキュー要素を引き出し、固定サイズを操作し、共有メモリキューキュー要素を操作し、キュー要素をqueue-b2aに押し込みます。 Process A Process Bからの結果を消化するために、 queue-b2aからキューアイテムを引くこともできます。

では、 Processes A ＆ Process Bによって、1秒あたりのキュー要素を前後に移動できますか？レノボW530ラップトップでは、 Process AとProcess B両方がCに記述されている場合、1秒あたり約9000万人のラップトップで

注：キュー要素があるキューから別のキューに移動されると、コピーされず、参照のみが更新されます。

多重化されたIPCロギング

どのように機能しますか？ Process A処理しますshf_log_thread_new（）は、共有メモリログバッファーと、新しいログラインの定期的にモニターするログ出力スレッドを作成します。 Process B SHF_LOG_ATTACH_EXISTING（）を呼び出して、同じ共有ログへのログを開始します。 c macros shf_plain（）およびshf_debug（）を使用してログを記録します。 shf_log_thread_new（）が呼び出されていない場合、出力は自動的にstdoutになり、その場合、ロギングはログ出力スレッドによって多重化されます。

出力の例： 

 sharedhashfile$ cat debug/test.q.shf.t.tout
1..10
=0.000000 23056 pid 23056 started; mode is 'c2c'
=0.000013 23056 - SHF_SNPRINTF() // 'test-23056-ipc-queue'
ok 1 -    c2*: shf_attach()          works for non-existing file as expected
=0.000002 23060 shf.monitor: monitoring pid 23056 to delete /dev/shm/test-23056-ipc-queue.shf
1..7
=0.000001 23064 pid 23064 started; mode is '4c'
=0.000010 23064 - SHF_SNPRINTF() // 'test-23064-ipc-queue'
ok 1 -     4c: shf_attach_existing() works for existing file as expected
#0.003948 1 --> auto mapped to thread id 23061
#0.003948 1 shf_log_thread(shf=?){}
ok 2 -    c2*: put lock in value as expected
ok 3 -    c2*: shf_q_new() returned as expected
ok 4 -    c2*: moved   expected number of new queue items // estimate 51,044,225 q items per second without contention
#0.131327 2 --> auto mapped to thread id 23064
#0.131327 2 '4c' mode; behaving as client
ok 2 -     4c: shf_q_get_name('qid-free') returned qid as expected
ok 3 -     4c: shf_q_get_name('qid-a2b' ) returned qid as expected
ok 4 -     4c: shf_q_get_name('qid-b2a' ) returned qid as expected
#0.158467 2 shf_race_start() // 2 horses started after 0.000001 seconds
#0.158474 2 testing process b IPC queue a2b --> b2a speed
#0.158467 3 --> auto mapped to thread id 23056
#0.158467 3 shf_race_start() // 2 horses started after 0.027820 seconds
#0.158484 3 testing process a IPC queue b2a --> a2b speed
ok 5 -     4c: moved   expected number of new queue items // estimate 53,106,512 q items per second with contention
#0.179207 2 testing process b IPC lock speed
ok 6 -     4c: got lock value address as expected
ok 5 -    c2*: moved   expected number of new queue items // estimate 52,951,698 q items per second with contention
#0.180467 3 testing process a IPC lock speed
ok 6 -    c2*: got lock value address as expected
#0.180475 3 shf_race_start() // 2 horses started after 0.000000 seconds
#0.180475 2 shf_race_start() // 2 horses started after 0.001165 seconds
ok 7 -    c2*: rw lock expected number of times           // estimate 4,422,109 locks per second; with contention
ok 7 -     4c: rw lock expected number of times           // estimate 4,411,319 locks per second; with contention
#0.633875 2 ending child
ok 8 -    c2*: rw lock expected number of times           // estimate 51,144,435 locks per second; without contention
ok 9 -    c2*: rw lock expected number of times           // estimate 381,821,029 locks per second; without lock, just loop
ok 10 -    c2*: test still alive
#0.677166 3 ending parent
#0.677177 3 shf_del(shf=?)
#0.677180 3 - SHF_SNPRINTF() // 'du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/'
#0.677181 3 shf_detach(shf=?)
#0.677183 3 shf_log_thread_del(shf=?) // waiting for log thread to end
=0.686385 3 shf_backticks('du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/')
=0.724220 3 - read 39 bytes from the pipe
test: shf size before deletion: 394M /dev/shm/test-23056-ipc-queue.shf

注：

  • 上記の例は、4つの異なるスレッドIDからの出力を示しています。
    • 29912は、テストプログラムメインスレッドのスレッドIDです。別名 '3'。
    • 29916は、shf.monitorプログラムのメインスレッドのスレッドIDです。多重ロギングに参加しないでください。
    • 29917は、テストプログラムログ出力スレッドのスレッドIDです。別名 '1'。
    • 29920は、テストプログラムメインスレッドのスレッドIDです。 29912から再帰的に生み出されました。別名「2」。
  • '='で始まる行：
    • stdoutに出力されました。 IEラインは、ログ出力スレッドの前または後にログに記録されます。
    • プロセスロギングの開始に対するタイムスタンプを表示します。
    • 5桁のスレッドIDを表示します。
  • 「＃」で始まる行：
    • ログ出力スレッドを使用してstdoutに出力されました。
    • ログ出力スレッドの開始に対するタイムスタンプを表示します。
    • 一意の短い整数にマッピングされたスレッドIDを表示します。 1は通常、ログ出力スレッド自体を意味します。
  • ログ出力スレッドが存在する場合、他の行 - テスト「OK」行 - は自動的に多重化されたログ行になります。

建物

makeを使用してリリースコードを作成し、 make debugを使用してデバッグコードを作成します。テストは自動的に実行されます。 

 root@16vcpu:/# make clean ; make
rm -rf release debug
make: variable: PROD_SRCS=murmurhash3.c shf.c tap.c
make: variable: PROD_OBJS=release/murmurhash3.o release/shf.o release/tap.o
make: variable: TEST_SRCS=test.1.tap.c test.9.shf.c
make: variable: TEST_OBJS=release/test.1.tap.o release/test.9.shf.o
make: variable: TEST_EXES=release/test.1.tap.t release/test.9.shf.t
make: compling: release/test.1.tap.o
make: compling: release/murmurhash3.o
make: compling: release/shf.o
make: compling: release/tap.o
make: linking: release/test.1.tap.t
make: running: release/test.1.tap.t
1..1
ok 1 - All passed
make: compling: release/test.9.shf.o
make: linking: release/test.9.shf.t
make: running: release/test.9.shf.t
1..10
ok 1 - shf_attach_existing() fails for non-existing file as expected
ok 2 - shf_attach()          works for non-existing file as expected
ok 3 - shf_get_copy_via_key() could not find unput key as expected
ok 4 - shf_get_copy_via_key() could     find   put key as expected
ok 5 - put expected number of              keys // 2293581 keys per second
ok 6 - got expected number of non-existing keys // 3812667 keys per second
ok 7 - got expected number of     existing keys // 3021523 keys per second
ok 8 - graceful growth cleans up after itself as expected
ok 9 - del expected number of     existing keys // 3109056 keys per second
ok 10 - del does not   clean  up after itself as expected
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  3.4  16.9 1298  626   0.0 10 10  8  5  3  2  8  9  9  6  2  8  4  7  8  4  0.0
PUT 51.4 363.7 1410 1200   5.4  7  6  7  6  7  5  6  7  6  6  6  7  7  6  5  6  5.4 -------
PUT 65.2 336.9 2036 2036  10.1  7  5  7  6  7  6  7  7  6  6  6  7  7  6  5  6  4.6 ------
PUT 56.8 331.7 1888 1888  14.9  6  5  6  7  6  7  7  7  6  6  6  7  7  6  5  6  4.9 ------
PUT 73.8 286.8 2200 2200  18.8  7  5  5  7  7  7  7  7  6  7  6  6  6  5  5  7  3.9 -----
PUT 21.2 412.9  726  726  25.1  6  5  5  7  7  8  7  7  6  6  6  6  6  5  5  7  6.3 --------
PUT 77.9 312.0 2554 2557  29.3  6  6  6  6  6  7  6  6  6  6  6  7  6  6  6  7  4.2 -----
PUT 96.7 272.2 3044 3041  32.5  7  6  6  6  6  7  6  6  6  7  6  7  6  6  6  7  3.1 ----
PUT 63.3 303.3 1804 1804  36.6  7  6  6  5  5  7  6  7  5  6  5  7  7  6  6  7  4.2 -----
PUT 11.5 380.9  349  349  43.2  7  6  6  5  5  7  6  6  6  5  6  7  7  6  6  6  6.6 --------
PUT 26.3 444.5  895  898  49.1  7  6  6  5  5  7  6  7  6  6  6  7  7  6  6  7  5.9 -------
PUT 55.0 283.9 1862 1860  53.8  5  6  6  6  6  6  5  7  6  6  7  7  7  6  6  7  4.7 ------
PUT 75.0 312.1 2480 2480  57.4  7  7  6  5  6  5  7  7  6  6  7  7  6  7  5  6  3.6 ----
PUT 88.5 191.2 2859 2858  60.6  7  7  6  6  7  6  7  5  7  5  7  7  6  7  6  5  3.2 ----
PUT 90.6 244.9 2853 2854  63.5  7  7  5  7  7  5  7  5  7  5  7  7  6  7  7  5  2.9 ---
PUT 82.6 258.8 2455 2455  66.4  7  7  5  7  7  6  7  5  6  5  7  7  5  7  6  5  3.0 ---
PUT 69.7 185.9 1970 1970  70.3  7  7  6  5  7  6  7  6  5  5  7  7  6  7  7  5  3.9 -----
PUT 28.8 409.6  761  760  75.6  6  7  6  6  6  5  6  6  7  5  7  7  5  7  7  6  5.2 ------
PUT  7.2 490.9  230  230  82.0  6  8  5  6  6  5  5  6  5  5  7  8  6  8  7  6  6.4 --------
PUT 11.1 414.9  391  391  88.4  6  7  7  6  6  5  5  6  6  5  6  7  5  7  7  6  6.4 --------
PUT 22.3 323.4  810  810  94.5  7  8  8  7  6  6  5  7  6  5  7  2  6  8  7  7  6.1 --------
PUT 26.1 302.4 1124 1124  99.3  2  5  8  9  7  8 10  1  9  9  6  0  8  4  9  6  4.8 ------
PUT  1.6   6.8  239  239 100.0  0  0  0  0  0  0  0  0 14 58  0  0  5  0 23  0  0.7
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX 21.8 103.9    0    0 105.3  5  6  6  7  7  7  7  5  8  6  6  3  7  6  7  7  5.3 -------
MIX  0.5   8.2    0    0 114.0  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   8.5    0    0 122.8  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   9.6    0    0 131.7  6  6  6  6  7  6  6  7  6  6  7  6  7  7  6  6  8.9 -----------
MIX  0.0  11.1    0    0 140.8  6  6  7  6  7  6  5  7  6  6  7  5  7  7  5  6  9.1 ------------
MIX  0.0  12.0    0    0 149.6  6  6  7  7  6  6  6  6  7  6  6  6  6  6  6  7  8.8 -----------
MIX  0.0  12.7    0    0 158.3  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.7 -----------
MIX  0.0  14.0    0    0 167.1  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.8 -----------
MIX  0.0  14.7    0    0 176.2  7  6  6  5  6  6  7  6  7  6  6  5  6  6  7  7  9.1 ------------
MIX  0.0  16.3    0    0 185.1  6  7  7  7  7  7  6  6  6  5  6  7  6  5  6  6  8.9 -----------
MIX  0.0  17.0    0    0 194.3  6  7  7  7  7  6  6  6  6  5  6  7  6  5  6  6  9.2 ------------
MIX  0.0   7.1    0    0 200.0  9  9  7  2  3 10  9  5  0 11  4 14  3  7  6  1  5.7 -------
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   2.1    0    0 200.3  3  6  7  6  7  6  6  6  7  7  7  3  7  7  7  7  0.3
GET  0.0   2.4    0    0 208.5  6  6  6  6  7  6  6  6  7  6  7  6  6  7  6  7  8.2 ----------
GET  0.0   0.0    0    0 217.4  6  7  7  6  7  5  6  6  7  6  7  6  6  7  6  6  8.9 -----------
GET  0.0   0.0    0    0 226.3  6  7  8  6  7  5  6  6  7  5  7  5  6  7  6  5  9.0 -----------
GET  0.0   0.0    0    0 235.3  6  7  7  6  8  5  6  6  8  5  7  5  5  7  6  6  9.0 -----------
GET  0.0   0.0    0    0 244.2  6  7  6  8  7  5  6  6  7  6  7  6  6  5  6  6  8.9 -----------
GET  0.0   0.0    0    0 253.5  5  8  5  8  6  6  7  8  7  5  8  5  5  5  7  5  9.3 ------------
GET  0.0   0.0    0    0 263.1  4  8  5  9  5  5  8  9  5  5  8  5  5  5  8  5  9.6 ------------
GET  0.0   0.0    0    0 272.9  4  8  5  7  5  7  8  9  5  5  8  5  5  5  8  5  9.8 -------------
GET  0.0   0.0    0    0 282.3  5  7  5  6  8  7  7  8  5  5  7  5  5  6  7  5  9.4 ------------
GET  0.0   0.0    0    0 291.0  6  2  6  6  9 10  8  4  6  6  2  6  6  6  8  6  8.7 -----------
GET  0.0   0.0    0    0 298.7 12  0 10  3  0  9  0  0  4 12  0 12 13  9  0 15  7.7 ----------
GET  0.0   0.0    0    0 300.0 32  0  0  0  0  0  0  0  0 23  0 27 18  0  0  0  1.3 -
* MIX is 2% (2000000) del/put, 98% (12100654) get
make: built and tested release version

注：

  • 上記の数値は、16 VCPUと60GB RAMを備えたRackspace Cloud Serverで生成されました。
  • テスト中に一連の統計が毎秒出力されます。
  • 「Put」フェーズでは、16の同時プロセスがハッシュテーブルに1億個のユニークなキーを入れました。
  • その後、「ミックス」フェーズでは、16の同時プロセスが他の2％を更新（del/put）しながら1億個の一意のキーの98％を取得します。
  • その後、「Get」フェーズでは、16の同時プロセスがハッシュテーブルから1億個の一意のキーを取得します。この場合、16の同時プロセスで最大980万秒あたりの運用を取得します。
  • 合計3億ハッシュテーブル操作が実行されます。
  • なぜパフォーマンスはそんなに異なるのですか？これは、カーネルメモリマッピングオーバーヘッドによるものです。 「TOP」は、より大きなシステムCPU使用量を示しています。

パフォーマンス

これは、1億個のキーを備えたハッシュテーブルを示す8コアLenovo W530ラップトップの例です。その後、2％の削除/挿入を行い、98％が1秒あたり1,000万回以上の操作のレートで読み取ります。 

 $ make clean ; make release
$ PATH=release:$PATH SHF_PERFORMANCE_TEST_ENABLE=1 test.f.shf.t
...
perf testing: SharedHashFile
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.2   0.0    0    0   0.0 32 30  0  0  0  0  0 38  0  0  0  0  0  0  0  0  0.0
PUT 30.0  89.4 1767 1767   4.5 13 13 13 12 13 12 12 13  0  0  0  0  0  0  0  0  4.5 -----
PUT 30.6  70.8 1925 1925   8.6 13 12 13 13 13 12 13 12  0  0  0  0  0  0  0  0  4.1 -----
PUT 17.1 103.3 1090 1090  13.7 12 12 13 13 13 12 13 13  0  0  0  0  0  0  0  0  5.1 ------
PUT 37.2  47.6 2334 2334  16.4 13 12 13 13 13 12 12 13  0  0  0  0  0  0  0  0  2.6 ---
PUT 15.7  88.1  944  944  21.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.0 ------
PUT 15.6 105.9 1035 1035  26.1 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  4.7 ------
PUT 34.3  63.6 2180 2181  29.3 13 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  3.1 ----
PUT 39.7  48.8 2478 2478  31.9 13 12 13 12 13 13 13 12  0  0  0  0  0  0  0  0  2.7 ---
PUT 32.1  47.3 1950 1949  35.0 12 12 12 12 13 13 12 12  0  0  0  0  0  0  0  0  3.0 ----
PUT  9.2 108.6  542  542  40.6 13 13 13 12 13 12 13 13  0  0  0  0  0  0  0  0  5.7 -------
PUT  8.4 132.2  552  552  46.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.8 -------
PUT 18.1  44.8 1184 1184  51.0 12 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  4.6 ------
PUT 25.3  98.8 1622 1622  54.4 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  3.4 ----
PUT 27.0  52.5 1730 1730  56.9 12 13 12 13 13 12 12 13  0  0  0  0  0  0  0  0  2.5 ---
PUT 35.4  67.9 2260 2260  59.4 13 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 38.1  52.3 2382 2383  61.9 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 37.2  18.8 2306 2306  64.4 13 13 12 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 33.7  25.1 2059 2059  67.1 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  2.8 ---
PUT 23.8  75.4 1427 1426  70.1 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  3.0 ---
PUT 12.2 191.3  705  706  73.9 12 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  3.8 -----
PUT  4.5  15.7  270  269  80.8 12 12 13 13 13 13 12 12  0  0  0  0  0  0  0  0  6.9 ---------
PUT  5.2 129.8  347  347  87.0 13 12 13 12 13 13 12 12  0  0  0  0  0  0  0  0  6.2 --------
PUT  8.4 133.8  557  557  92.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  5.4 -------
PUT 14.3   6.2  933  933  97.3 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  4.9 ------
PUT 11.5  16.5  777  777 100.0 11 15 10 13 11 12 13 15  0  0  0  0  0  0  0  0  2.7 ---
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  2.3   5.6    0    0 101.2 12 14 11 12 12 12 13 13  0  0  0  0  0  0  0  0  1.2 -
MIX  0.3   3.9    0    0 110.4 12 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.2 ------------
MIX  0.0   4.1    0    0 119.7 13 13 13 12 12 13 13 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   5.3    0    0 129.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   5.6    0    0 139.0 13 13 12 12 12 13 13 12  0  0  0  0  0  0  0  0  9.6 ------------
MIX  0.0   6.3    0    0 148.5 13 13 13 12 12 12 13 12  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   7.0    0    0 158.4 13 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.9 -------------
MIX  0.0   7.0    0    0 167.7 12 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   7.9    0    0 176.7 13 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.1 ------------
MIX  0.0   8.7    0    0 186.5 13 12 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   8.7    0    0 196.0 13 13 13 12 12 12 12 13  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   3.5    0    0 200.0 10  8 12 15 17 11 15 11  0  0  0  0  0  0  0  0  4.0 -----
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.6    0    0 206.5 13 13 13 12 10 13 13 13  0  0  0  0  0  0  0  0  6.5 --------
GET  0.0   0.0    0    0 217.9 13 12 13 13 12 12 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 229.3 13 12 13 13 13 11 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 240.6 13 13 13 13 13 12 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 251.9 13 13 13 12 13 13 10 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 263.2 12 12 13 12 13 13 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 274.4 13 13 13 13 12 13 13 11  0  0  0  0  0  0  0  0 11.2 --------------
GET  0.0   0.0    0    0 285.9 12 13 13 13 12 12 13 13  0  0  0  0  0  0  0  0 11.5 ---------------
GET  0.0   0.0    0    0 297.3 12 13 13 13 12 12 13 12  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 300.0  6  9  0 11 22 21 24  6  0  0  0  0  0  0  0  0  2.7 ---
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 3.9G   /dev/shm/test-shf-19973.shf

LMDB別名Lightning MDBとのパフォーマンス比較

上記と同じテストですが、Sharedhashfileの代わりにLMDBを使用しています。

注：

  • コードが変更されていない場合でも、パフォーマンスが半分になった理由を把握してください:-(
  • テストをリンゴからリンゴのハッシュテーブル比較にするには：
  • mdb_get（）＆mdb_put（）が使用されます（より速いカーソル関数の代わりに）LMDBをハッシュテーブルとしてテストします。
  • LMDB DBファイルは /dev /shmに保存されているため、ディスクのパフォーマンスが結果に影響しません。
  • 免責事項を入れてミックスする：LMDBは、書くのではなく、読書で速くなるように設計されています。
  • PUTはLMDBSトランザクションを使用して行われます（読み取り：グローバルロック？）
  • Pro：トランザクションなしでは、Putは1秒あたり約0.1mのみを管理しますが、すべてのスレッドが参加します。
  • CON：トランザクションでは、通常、1つのスレッドのみが配置されます。
  • CON：トランザクションロックは公平ではないように見えるため、すべてのプロセスがトランザクションを作成しようとしていますが、1つのスレッドが常に勝つ傾向があります。
  • CON：Put Writeは、1秒あたりの健康な1.1mで始まりますが、ゆっくりと0.2mに低下します。
  • ミックスは50％CPUのみを使用しています。おそらく重量のグローバルロックが多いためですか？
  • 1秒あたり5.xmで非常に速く動作しますが、Sharedhashfileの約半分の速度を取得します。
  • LMDBは、SharedHashfileには3.9gに対して2.6gのみを使用していました。 
 $ perl perf-test-lmdb.pl
...
perf testing: LMDB aka Lightning MDB
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.0   0.0    0    0   0.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
PUT  0.0   0.0    0    0   1.1  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1.1 -
PUT  0.0   0.0    0    0   1.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.8 -
PUT  0.0   0.0    0    0   2.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   4.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   5.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   6.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   6.8  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.2  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   8.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0   8.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
...
PUT  0.0   0.0    0    0  72.1  0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0  72.3  5  0 93  2  0  0  0  0  0  0  0  0  0  0  0  0  0.2
...
PUT  0.0   0.0    0    0 100.0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.2
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  0.0   0.0    0    0 100.3 13 12 12 13 13 12 12 13  0  0  0  0  0  0  0  0  0.3
MIX  0.0   0.0    0    0 101.3 12 12 12 13 12 12 13 13  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 102.3 13 12 13 13 12 13 12 12  0  0  0  0  0  0  0  0  1.0 -
...
MIX  0.0   0.0    0    0 198.3 13 13 12 13 13 12 12 12  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 199.4 12 12 12 12 13 13 13 13  0  0  0  0  0  0  0  0  1.1 -
MIX  0.0   0.0    0    0 200.0 13 27 10  3 17  8 11 11  0  0  0  0  0  0  0  0  0.6
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.0    0    0 203.0 13 13 12 13 11 13 12 13  0  0  0  0  0  0  0  0  3.0 ---
GET  0.0   0.0    0    0 208.1 13 12 13 13 12 13 11 13  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 213.4 12 11 14 12 13 13 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 218.6 13 11 14 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 223.8 13 11 13 13 13 13 12 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 229.2 12 12 12 13 14 14 12 12  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 234.3 12 13 12 12 11 13 13 13  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 239.6 11 12 14 12 12 13 14 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 244.9 12 12 14 10 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 250.1 11 11 13 13 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 255.3 13 12 12 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 260.5 13 12 11 13 12 14 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 265.8 13 12 12 11 13 13 14 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 270.8 14 12 12 12 13 13 13 12  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 275.9 12 14 13 13 13 12 14 10  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 281.3 12 14 13 12 12 13 14 10  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 286.4 14 13 12 13 12 13 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 291.7 13 12 11 11 13 13 13 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 296.7 12 13 12 13 13 14 11 13  0  0  0  0  0  0  0  0  5.0 ------
GET  0.0   0.0    0    0 300.0 12 22 11 19 10  0  0 25  0  0  0  0  0  0  0  0  3.2 ----
GET  0.0   0.0    0    0 300.0  0  0  0  0  0  0  0100  0  0  0  0  0  0  0  0  0.0
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 2.6G   /dev/shm/test-lmdb-20848

トト

  • EventFDに基づいて、高性能IPCキュー通知メカニズムとテストを追加します。
  • パフォーマンスにプライベートキューバッチを使用する場合は、要素クラッシュ回復メカニズムを追加します。
  • 多重化されたロギングのパフォーマンステストを追加し、EG log4cxxと比較します。
  • 4kbを超える値を自分のmmap（）にすることを許可します。したがって、IPCキューとログaddrは決して変更されません。
  • Auto Dump残りの共有メモリログATEXIT。
  • shf_log（）を拡張して、stdoutの代わりにシームレスにファイルにログを記録します。
  • shf.logを低いfopen（）の代わりにshf_log（）で操作するように変換します。
  • ログ操作については、Doxygenを介してAPIドキュメントを追加します。
  • キー値操作については、Doxygenを介してAPIドキュメントを追加します。
  • 識字プログラミングを介してAPIドキュメントを追加します。
  • さらにテストを追加し、100％のコードカバレッジを強制します。
  • キー、32ビットの長さのバイナリ文字列以外の値データ型をサポートします。
  • 再起動過去のメモリ内の永続性をサポートします。
  • ハッシュテーブルのすべてのキー、バリューペアのウォーキングをサポートします。
  • スタックキータイプ、プッシュ、ポップ、シフト、アンシフトをサポートします。
  • 分散ハッシュテーブルのネットワークレイヤーを追加します。
  • コマンドラインユーティリティツールを追加します。
  • ハッシュテーブルを破壊することなく、クライアントがいつでもクラッシュできるようにします。
  • mremap（）をサポートしていないLinuxのようなOSSからポート。
  • ポートツーウィンドウ。
  • フラッシュドライブでパフォーマンスをテストします。
  • 電子メールフィードバック[@] SharedHashfile [。] Comがもっと願いを持って！
拡大する
追加情報
関連アプリ
おすすめ
関連情報 すべて