sharedhashfile 다운로드 sharedhashfile 소스 코드 다운로드

sharedhashfile

C# 소스 코드

1.0.0

다운로드

SharedHashFile : 임의의 프로세스 사이에 메모리 매핑 파일에 저장된 안정적인 키 힌트가있는 해시 테이블 공유

SharedHashFile은 안정적인 키 힌트, 제로 카피 IPC 큐 및 Linux 용 C로 작성된 멀티 플렉스 IPC 로깅 라이브러리가있는 가볍고 내장 가능한 NOSQL 키 값 저장소 / 해시 테이블입니다. 공유 메모리에서 직접 액세스하는 데이터; SharedhashFile과 응용 프로그램 프로그램 사이에는 소켓이 사용되지 않습니다. 서버 프로세스가 없습니다. C & C ++ 용 API.

프로젝트 목표

더 빠른 속도.
더 단순하고 작은 발자국.
메모리 사용량을 낮추십시오.
메모리 액세스에서 동시.

기술

데이터 저장

데이터는 기본적으로 공유 메모리로 유지되므로 모든 데이터에 모든 프로세스에 액세스 할 수 있습니다. 최대 40 억 개의 키는 단일 SharedhashFile 해시 테이블에 저장 될 수 있으며, 이는 사용 가능한 RAM에 의해서만 크기가 제한됩니다.

예를 들어, SharedhashFile 해시 테이블에서 96GB가 사용되는 128GB RAM이있는 상자가 있다고 가정 해 봅시다. 이 상자에는 24 개의 코어가 있으며 96GB의 해시 테이블에 동시에 액세스하는 24 개의 프로세스 (예 : Nginx 포크 슬레이브 프로세스 등)가 있습니다. 각 프로세스는 정확히 동일한 96GB의 공유 메모리를 공유합니다.

직접 메모리 액세스

키, 값 쌍은 N 프로세스에서 공유 메모리로 유지되므로 공유 메모리는 언제든지 변경 및/또는 이동할 수 있습니다. 따라서 값을 얻으면 항상 값의 스레드 로컬 사본을받습니다.

데이터 인코딩

키와 값은 현재 이진 문자열이며 최대 길이는 2^32 바이트입니다.

할당 및 쓰레기 수집

기존의 malloc ()는 공유 메모리에서 작동하지 않습니다. 기존 포인터 대신 오프셋을 사용해야하므로 공유 메모리에서는 작동하지 않습니다. 따라서 SharedHashFile은 공유 메모리를 위해 자체 Malloc () 구현을 사용합니다.

메모리 구멍을 피하기 위해 키에 따라 가비지 수집이 때때로 값 삽입을받습니다. 쓰레기 수집 중에 영향을받는 키 값 쌍의 수는 해시 테이블에 몇 개의 키가 삽입되었는지에 관계없이 알고리즘에 의해 최대 8,192 쌍으로 의도적으로 제한됩니다. 이것은 해시 테이블이 항상 반응이 매우 느껴진다는 것을 의미합니다.

해시 테이블 확장

Sharedhashfile은 더 많은 키로 우아하게 확장되도록 설계되었습니다. 갑작스런 메모리 증가 또는 메모리 배가 이벤트가 없습니다. 그리고 대량의 키를 다시 시작하기 때문에 큰 일시 정지가 없습니다.

잠금

경합을 줄이기 위해 설계 별 단일 글로벌 해시 테이블 잠금 장치는 없습니다. 대신 키는 256 개의 자물쇠를 가로 지르기 위해 잠금 경합을 줄입니다.

선택적 고정 길이 키 및 값

쓰기 수준이 높은 사용 사례의 경우 삭제 된 키로 인해 메모리 구멍을 제거 할 때 메모리 매핑 영역이 재활용 / 수축되어 시스템 MMAP () 호출이 너무 많아서 성능이 어려워 질 수 있습니다.

무거운 사용 사례의 성능을 향상시키기 위해 키와 값은 전체 해시 테이블에서 크기로 고정 될 수 있습니다. 즉, 메모리 구멍을 만들지 않고 삭제 된 키를 쉽게 재사용 할 수 있으며 비싼 시스템 MMAP () 호출이 필요하지 않습니다.

고정 길이 키와 값을 사용하면 키와 값 크기가 더 이상 저장되지 않기 때문에 사용되는 RAM의 양이 줄어 듭니다.

지속적인 스토리지

해시 테이블은 /dev/shm 의 메모리 매핑 파일에 저장되므로 프로세스가 해시 테이블을 사용하지 않더라도 데이터가 지속됩니다. 그러나 해시 테이블은 재부팅에서 살아남지 못합니다.

고유 식별자 일명 안정적인 키 힌트

다른 해시 테이블과 달리 SharedHashFile에 저장된 모든 키는 자체 UID (예 : shf_make_hash("key", 3); uint32_t uid = shf_put_key_val(shf, "val", 3) . 향후 동일한 키를 얻으려면 키를 통해 키에 액세스하거나 UID를 통해 shf_make_hash("key", 3); shf_get_key_val_copy(shf) 또는 shf_get_uid_val_copy(shf, uid) .

UID는 무엇에 유용합니까? UID는 추가 리소스를 취하지 않으며 자원 '무료'로 생각할 수 있습니다. UID로 키에 액세스하는 것은 키를 통해 키에 액세스하는 것보다 빠릅니다. UID의 크기는 32 비트에 불과하기 때문에 프로그램의 키에 대한 참조로 쉽게 저장하거나 키, 값 쌍 또는 다른 키에 포함 된 값에 포함시킬 수 있습니다.

예제 사용 : UID1이 키 "user-id-<xyz>" 를 가리키면 UID2가 "facebook.com" 을 가리키면 또 다른 '매시 업'키가 "<uid1><uid2>" 일 수 있습니다. 개인 URL Whitelist에 "user-id-<xyz>" 가 "facebook.com" 이 있는지 알고 싶으십니까? 키 "<uid1><uid2>" 가 존재하는지 확인하십시오.

'안정적인 키 힌트'의 '안정적인'은 무엇을 의미합니까? 이는 키 및/또는 값 바이트가 메모리에서 이동하더라도 UID가 동일하게 유지됨을 의미합니다.

제로 코피 IPC 대기열

어떻게 작동합니까? X 고정 크기의 큐 요소를 만들고 yeeue를 만들어 큐 요소를 눌러 당기고 당기십시오.

예 : 두 가지 프로세스 Process A & Process B 상상해보십시오. b. Process A 10 만 대기열 요소와 3 개의 대기열을 생성합니다. queue-free , queue-a2b 및 queue-b2a . 직접적으로 모든 대기열 요소는 queue-free 됩니다. queue-a2b 에서 당기기 위해 Sharedhashfile에 부착 된 Process B Process A 로 처리합니다. 제로 코피 IPC를 수행하려면 Process A 할 수 있습니다. A는 queue-free 에서 큐 요소를 당기고 고정 크기, 공유 메모리 큐 요소를 조작하고 큐 요소를 queue-a2b 로 밀어 넣습니다. Process B 반대입니다. queue-a2b 에서 큐 요소를 끌어 당기고 고정 크기, 공유 메모리 큐 큐 요소를 조작하고 큐 요소를 queue-b2a 로 푸시합니다. Process A 또한 queue-b2a 에서 큐 항목을 가져와 Process B 의 결과를 소화 할 수 있습니다.

Processes A & Process B 에 의해 초당 몇 개의 큐 요소가 앞뒤로 이동할 수 있습니까? Lenovo W530 노트북에서 두 Process A 와 Process B C로 작성되면 초당 약 9 천만입니다.

참고 : 큐 요소가 한 큐에서 다른 큐로 이동하면 복사되지 않으면 참조 만 업데이트됩니다.

다중화 된 IPC 로깅

어떻게 작동합니까? Process A 호출 SHF_LOG_THREAD_NEW ()는 공유 메모리 로그 버퍼와 새 로그 라인을 주기적으로 모니터링하는 로그 출력 스레드를 만듭니다. Process B SHF_LOG_ATTACH_EXISTING ()을 호출하여 동일한 공유 로그에 로깅을 시작합니다. c macros shf_plain () 및 shf_debug ()를 사용하여 로그. SHF_LOG_THREAD_NEW ()가 호출되지 않은 경우 출력이 STDOut으로 자동으로 이동하면 로그가 로그 출력 스레드에 의해 다중화됩니다.

예제 출력 :

 sharedhashfile$ cat debug/test.q.shf.t.tout
1..10
=0.000000 23056 pid 23056 started; mode is 'c2c'
=0.000013 23056 - SHF_SNPRINTF() // 'test-23056-ipc-queue'
ok 1 -    c2*: shf_attach()          works for non-existing file as expected
=0.000002 23060 shf.monitor: monitoring pid 23056 to delete /dev/shm/test-23056-ipc-queue.shf
1..7
=0.000001 23064 pid 23064 started; mode is '4c'
=0.000010 23064 - SHF_SNPRINTF() // 'test-23064-ipc-queue'
ok 1 -     4c: shf_attach_existing() works for existing file as expected
#0.003948 1 --> auto mapped to thread id 23061
#0.003948 1 shf_log_thread(shf=?){}
ok 2 -    c2*: put lock in value as expected
ok 3 -    c2*: shf_q_new() returned as expected
ok 4 -    c2*: moved   expected number of new queue items // estimate 51,044,225 q items per second without contention
#0.131327 2 --> auto mapped to thread id 23064
#0.131327 2 '4c' mode; behaving as client
ok 2 -     4c: shf_q_get_name('qid-free') returned qid as expected
ok 3 -     4c: shf_q_get_name('qid-a2b' ) returned qid as expected
ok 4 -     4c: shf_q_get_name('qid-b2a' ) returned qid as expected
#0.158467 2 shf_race_start() // 2 horses started after 0.000001 seconds
#0.158474 2 testing process b IPC queue a2b --> b2a speed
#0.158467 3 --> auto mapped to thread id 23056
#0.158467 3 shf_race_start() // 2 horses started after 0.027820 seconds
#0.158484 3 testing process a IPC queue b2a --> a2b speed
ok 5 -     4c: moved   expected number of new queue items // estimate 53,106,512 q items per second with contention
#0.179207 2 testing process b IPC lock speed
ok 6 -     4c: got lock value address as expected
ok 5 -    c2*: moved   expected number of new queue items // estimate 52,951,698 q items per second with contention
#0.180467 3 testing process a IPC lock speed
ok 6 -    c2*: got lock value address as expected
#0.180475 3 shf_race_start() // 2 horses started after 0.000000 seconds
#0.180475 2 shf_race_start() // 2 horses started after 0.001165 seconds
ok 7 -    c2*: rw lock expected number of times           // estimate 4,422,109 locks per second; with contention
ok 7 -     4c: rw lock expected number of times           // estimate 4,411,319 locks per second; with contention
#0.633875 2 ending child
ok 8 -    c2*: rw lock expected number of times           // estimate 51,144,435 locks per second; without contention
ok 9 -    c2*: rw lock expected number of times           // estimate 381,821,029 locks per second; without lock, just loop
ok 10 -    c2*: test still alive
#0.677166 3 ending parent
#0.677177 3 shf_del(shf=?)
#0.677180 3 - SHF_SNPRINTF() // 'du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/'
#0.677181 3 shf_detach(shf=?)
#0.677183 3 shf_log_thread_del(shf=?) // waiting for log thread to end
=0.686385 3 shf_backticks('du -h -d 0 /dev/shm/test-23056-ipc-queue.shf ; rm -rf /dev/shm/test-23056-ipc-queue.shf/')
=0.724220 3 - read 39 bytes from the pipe
test: shf size before deletion: 394M /dev/shm/test-23056-ipc-queue.shf

참고 :

위의 예는 4 개의 다른 스레드 ID의 출력을 보여줍니다.
- 29912는 테스트 프로그램 메인 스레드의 스레드 ID입니다. 일명 '3'.
- 29916은 shf.monitor 프로그램 메인 스레드의 스레드 ID입니다. 다중 로깅에 참여하지 않습니다.
- 29917은 테스트 프로그램 로그 출력 스레드의 스레드 ID입니다. 일명 '1'.
- 29920은 테스트 프로그램 메인 스레드의 스레드 ID입니다. 29912 년부터 재귀 적으로 스폰되었습니다. 일명 '2'.
'='로 시작하는 줄 :
- stdout에 대한 출력; IE 라인이 로그 출력 스레드 전후에 로그인 된 선이 존재합니다.
- 프로세스 로깅의 시작과 관련하여 타임 스탬프를 표시하십시오.
- 5 자리 스레드 ID를 표시하십시오.
'#'로 시작하는 줄 :
- 로그 출력 스레드를 사용하여 stdout에 출력되었습니다.
- 로그 출력 스레드의 시작과 관련하여 타임 스탬프를 표시하십시오.
- 고유 한 짧은 정수에 매핑 된 스레드 ID를 표시하십시오. 1은 일반적으로 로그 출력 스레드 자체를 의미합니다.
로그 출력 스레드가 존재하면 다른 라인 (예 : 'OK'라인이 자동으로 다중화 된 로그 라인이됩니다.

건물

make 사용하여 릴리스 코드와 make debug 를 사용하여 디버그 코드를 작성하십시오. 테스트는 자동으로 실행됩니다.

 root@16vcpu:/# make clean ; make
rm -rf release debug
make: variable: PROD_SRCS=murmurhash3.c shf.c tap.c
make: variable: PROD_OBJS=release/murmurhash3.o release/shf.o release/tap.o
make: variable: TEST_SRCS=test.1.tap.c test.9.shf.c
make: variable: TEST_OBJS=release/test.1.tap.o release/test.9.shf.o
make: variable: TEST_EXES=release/test.1.tap.t release/test.9.shf.t
make: compling: release/test.1.tap.o
make: compling: release/murmurhash3.o
make: compling: release/shf.o
make: compling: release/tap.o
make: linking: release/test.1.tap.t
make: running: release/test.1.tap.t
1..1
ok 1 - All passed
make: compling: release/test.9.shf.o
make: linking: release/test.9.shf.t
make: running: release/test.9.shf.t
1..10
ok 1 - shf_attach_existing() fails for non-existing file as expected
ok 2 - shf_attach()          works for non-existing file as expected
ok 3 - shf_get_copy_via_key() could not find unput key as expected
ok 4 - shf_get_copy_via_key() could     find   put key as expected
ok 5 - put expected number of              keys // 2293581 keys per second
ok 6 - got expected number of non-existing keys // 3812667 keys per second
ok 7 - got expected number of     existing keys // 3021523 keys per second
ok 8 - graceful growth cleans up after itself as expected
ok 9 - del expected number of     existing keys // 3109056 keys per second
ok 10 - del does not   clean  up after itself as expected
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  3.4  16.9 1298  626   0.0 10 10  8  5  3  2  8  9  9  6  2  8  4  7  8  4  0.0
PUT 51.4 363.7 1410 1200   5.4  7  6  7  6  7  5  6  7  6  6  6  7  7  6  5  6  5.4 -------
PUT 65.2 336.9 2036 2036  10.1  7  5  7  6  7  6  7  7  6  6  6  7  7  6  5  6  4.6 ------
PUT 56.8 331.7 1888 1888  14.9  6  5  6  7  6  7  7  7  6  6  6  7  7  6  5  6  4.9 ------
PUT 73.8 286.8 2200 2200  18.8  7  5  5  7  7  7  7  7  6  7  6  6  6  5  5  7  3.9 -----
PUT 21.2 412.9  726  726  25.1  6  5  5  7  7  8  7  7  6  6  6  6  6  5  5  7  6.3 --------
PUT 77.9 312.0 2554 2557  29.3  6  6  6  6  6  7  6  6  6  6  6  7  6  6  6  7  4.2 -----
PUT 96.7 272.2 3044 3041  32.5  7  6  6  6  6  7  6  6  6  7  6  7  6  6  6  7  3.1 ----
PUT 63.3 303.3 1804 1804  36.6  7  6  6  5  5  7  6  7  5  6  5  7  7  6  6  7  4.2 -----
PUT 11.5 380.9  349  349  43.2  7  6  6  5  5  7  6  6  6  5  6  7  7  6  6  6  6.6 --------
PUT 26.3 444.5  895  898  49.1  7  6  6  5  5  7  6  7  6  6  6  7  7  6  6  7  5.9 -------
PUT 55.0 283.9 1862 1860  53.8  5  6  6  6  6  6  5  7  6  6  7  7  7  6  6  7  4.7 ------
PUT 75.0 312.1 2480 2480  57.4  7  7  6  5  6  5  7  7  6  6  7  7  6  7  5  6  3.6 ----
PUT 88.5 191.2 2859 2858  60.6  7  7  6  6  7  6  7  5  7  5  7  7  6  7  6  5  3.2 ----
PUT 90.6 244.9 2853 2854  63.5  7  7  5  7  7  5  7  5  7  5  7  7  6  7  7  5  2.9 ---
PUT 82.6 258.8 2455 2455  66.4  7  7  5  7  7  6  7  5  6  5  7  7  5  7  6  5  3.0 ---
PUT 69.7 185.9 1970 1970  70.3  7  7  6  5  7  6  7  6  5  5  7  7  6  7  7  5  3.9 -----
PUT 28.8 409.6  761  760  75.6  6  7  6  6  6  5  6  6  7  5  7  7  5  7  7  6  5.2 ------
PUT  7.2 490.9  230  230  82.0  6  8  5  6  6  5  5  6  5  5  7  8  6  8  7  6  6.4 --------
PUT 11.1 414.9  391  391  88.4  6  7  7  6  6  5  5  6  6  5  6  7  5  7  7  6  6.4 --------
PUT 22.3 323.4  810  810  94.5  7  8  8  7  6  6  5  7  6  5  7  2  6  8  7  7  6.1 --------
PUT 26.1 302.4 1124 1124  99.3  2  5  8  9  7  8 10  1  9  9  6  0  8  4  9  6  4.8 ------
PUT  1.6   6.8  239  239 100.0  0  0  0  0  0  0  0  0 14 58  0  0  5  0 23  0  0.7
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX 21.8 103.9    0    0 105.3  5  6  6  7  7  7  7  5  8  6  6  3  7  6  7  7  5.3 -------
MIX  0.5   8.2    0    0 114.0  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   8.5    0    0 122.8  6  6  5  6  7  5  6  7  7  6  7  6  7  7  6  6  8.7 -----------
MIX  0.0   9.6    0    0 131.7  6  6  6  6  7  6  6  7  6  6  7  6  7  7  6  6  8.9 -----------
MIX  0.0  11.1    0    0 140.8  6  6  7  6  7  6  5  7  6  6  7  5  7  7  5  6  9.1 ------------
MIX  0.0  12.0    0    0 149.6  6  6  7  7  6  6  6  6  7  6  6  6  6  6  6  7  8.8 -----------
MIX  0.0  12.7    0    0 158.3  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.7 -----------
MIX  0.0  14.0    0    0 167.1  7  6  6  7  6  6  7  6  7  6  6  6  6  6  7  7  8.8 -----------
MIX  0.0  14.7    0    0 176.2  7  6  6  5  6  6  7  6  7  6  6  5  6  6  7  7  9.1 ------------
MIX  0.0  16.3    0    0 185.1  6  7  7  7  7  7  6  6  6  5  6  7  6  5  6  6  8.9 -----------
MIX  0.0  17.0    0    0 194.3  6  7  7  7  7  6  6  6  6  5  6  7  6  5  6  6  9.2 ------------
MIX  0.0   7.1    0    0 200.0  9  9  7  2  3 10  9  5  0 11  4 14  3  7  6  1  5.7 -------
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   2.1    0    0 200.3  3  6  7  6  7  6  6  6  7  7  7  3  7  7  7  7  0.3
GET  0.0   2.4    0    0 208.5  6  6  6  6  7  6  6  6  7  6  7  6  6  7  6  7  8.2 ----------
GET  0.0   0.0    0    0 217.4  6  7  7  6  7  5  6  6  7  6  7  6  6  7  6  6  8.9 -----------
GET  0.0   0.0    0    0 226.3  6  7  8  6  7  5  6  6  7  5  7  5  6  7  6  5  9.0 -----------
GET  0.0   0.0    0    0 235.3  6  7  7  6  8  5  6  6  8  5  7  5  5  7  6  6  9.0 -----------
GET  0.0   0.0    0    0 244.2  6  7  6  8  7  5  6  6  7  6  7  6  6  5  6  6  8.9 -----------
GET  0.0   0.0    0    0 253.5  5  8  5  8  6  6  7  8  7  5  8  5  5  5  7  5  9.3 ------------
GET  0.0   0.0    0    0 263.1  4  8  5  9  5  5  8  9  5  5  8  5  5  5  8  5  9.6 ------------
GET  0.0   0.0    0    0 272.9  4  8  5  7  5  7  8  9  5  5  8  5  5  5  8  5  9.8 -------------
GET  0.0   0.0    0    0 282.3  5  7  5  6  8  7  7  8  5  5  7  5  5  6  7  5  9.4 ------------
GET  0.0   0.0    0    0 291.0  6  2  6  6  9 10  8  4  6  6  2  6  6  6  8  6  8.7 -----------
GET  0.0   0.0    0    0 298.7 12  0 10  3  0  9  0  0  4 12  0 12 13  9  0 15  7.7 ----------
GET  0.0   0.0    0    0 300.0 32  0  0  0  0  0  0  0  0 23  0 27 18  0  0  0  1.3 -
* MIX is 2% (2000000) del/put, 98% (12100654) get
make: built and tested release version

참고 :

위의 수치는 16 VCPU 및 60GB RAM이있는 Rackspace Cloud Server에서 생성되었습니다.
테스트 중에 매 초마다 통계 라인이 출력됩니다.
'put'단계에서 16 개의 동시 프로세스가 1 억 개의 고유 키를 해시 테이블에 넣었습니다.
그런 다음 '믹스'단계에서 16 개의 동시 프로세스가 1 억 개의 고유 키의 98%를 얻는 동안 다른 2%를 업데이트 (del/put)합니다.
그런 다음 'get'단계에서 16 개의 동시 프로세스가 해시 테이블에서 1 억 개의 고유 키를 얻습니다. 이 경우 16 개의 동시 프로세스에서 최대 980 만 명이 초당 초당 운영을 얻습니다.
총 3 억 개의 해시 테이블 작업이 수행됩니다.
PUT 성능이 왜 그렇게 다양합니까? 커널 메모리 매핑 오버 헤드 때문입니다. 'Top'은 더 큰 시스템 CPU 사용을 보여줍니다.

성능

다음은 8 개의 코어 Lenovo W530 노트북의 예입니다. 1 억 키가있는 해시 테이블을 보여준 다음 2% 삭제/삽입 및 98%가 초당 1 천만 개 이상의 작업 속도로 읽습니다.

 $ make clean ; make release
$ PATH=release:$PATH SHF_PERFORMANCE_TEST_ENABLE=1 test.f.shf.t
...
perf testing: SharedHashFile
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.2   0.0    0    0   0.0 32 30  0  0  0  0  0 38  0  0  0  0  0  0  0  0  0.0
PUT 30.0  89.4 1767 1767   4.5 13 13 13 12 13 12 12 13  0  0  0  0  0  0  0  0  4.5 -----
PUT 30.6  70.8 1925 1925   8.6 13 12 13 13 13 12 13 12  0  0  0  0  0  0  0  0  4.1 -----
PUT 17.1 103.3 1090 1090  13.7 12 12 13 13 13 12 13 13  0  0  0  0  0  0  0  0  5.1 ------
PUT 37.2  47.6 2334 2334  16.4 13 12 13 13 13 12 12 13  0  0  0  0  0  0  0  0  2.6 ---
PUT 15.7  88.1  944  944  21.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.0 ------
PUT 15.6 105.9 1035 1035  26.1 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  4.7 ------
PUT 34.3  63.6 2180 2181  29.3 13 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  3.1 ----
PUT 39.7  48.8 2478 2478  31.9 13 12 13 12 13 13 13 12  0  0  0  0  0  0  0  0  2.7 ---
PUT 32.1  47.3 1950 1949  35.0 12 12 12 12 13 13 12 12  0  0  0  0  0  0  0  0  3.0 ----
PUT  9.2 108.6  542  542  40.6 13 13 13 12 13 12 13 13  0  0  0  0  0  0  0  0  5.7 -------
PUT  8.4 132.2  552  552  46.4 13 12 13 12 12 12 13 12  0  0  0  0  0  0  0  0  5.8 -------
PUT 18.1  44.8 1184 1184  51.0 12 12 13 12 12 13 12 13  0  0  0  0  0  0  0  0  4.6 ------
PUT 25.3  98.8 1622 1622  54.4 13 12 13 12 13 12 13 13  0  0  0  0  0  0  0  0  3.4 ----
PUT 27.0  52.5 1730 1730  56.9 12 13 12 13 13 12 12 13  0  0  0  0  0  0  0  0  2.5 ---
PUT 35.4  67.9 2260 2260  59.4 13 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 38.1  52.3 2382 2383  61.9 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 37.2  18.8 2306 2306  64.4 13 13 12 13 13 13 12 12  0  0  0  0  0  0  0  0  2.5 ---
PUT 33.7  25.1 2059 2059  67.1 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  2.8 ---
PUT 23.8  75.4 1427 1426  70.1 13 12 12 13 13 13 13 12  0  0  0  0  0  0  0  0  3.0 ---
PUT 12.2 191.3  705  706  73.9 12 13 13 13 13 13 12 12  0  0  0  0  0  0  0  0  3.8 -----
PUT  4.5  15.7  270  269  80.8 12 12 13 13 13 13 12 12  0  0  0  0  0  0  0  0  6.9 ---------
PUT  5.2 129.8  347  347  87.0 13 12 13 12 13 13 12 12  0  0  0  0  0  0  0  0  6.2 --------
PUT  8.4 133.8  557  557  92.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  5.4 -------
PUT 14.3   6.2  933  933  97.3 13 12 12 13 12 13 13 12  0  0  0  0  0  0  0  0  4.9 ------
PUT 11.5  16.5  777  777 100.0 11 15 10 13 11 12 13 15  0  0  0  0  0  0  0  0  2.7 ---
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  2.3   5.6    0    0 101.2 12 14 11 12 12 12 13 13  0  0  0  0  0  0  0  0  1.2 -
MIX  0.3   3.9    0    0 110.4 12 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.2 ------------
MIX  0.0   4.1    0    0 119.7 13 13 13 12 12 13 13 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   5.3    0    0 129.4 13 13 12 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   5.6    0    0 139.0 13 13 12 12 12 13 13 12  0  0  0  0  0  0  0  0  9.6 ------------
MIX  0.0   6.3    0    0 148.5 13 13 13 12 12 12 13 12  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   7.0    0    0 158.4 13 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.9 -------------
MIX  0.0   7.0    0    0 167.7 12 13 13 12 12 13 12 13  0  0  0  0  0  0  0  0  9.3 ------------
MIX  0.0   7.9    0    0 176.7 13 13 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.1 ------------
MIX  0.0   8.7    0    0 186.5 13 12 13 13 12 13 12 13  0  0  0  0  0  0  0  0  9.8 -------------
MIX  0.0   8.7    0    0 196.0 13 13 13 12 12 12 12 13  0  0  0  0  0  0  0  0  9.5 ------------
MIX  0.0   3.5    0    0 200.0 10  8 12 15 17 11 15 11  0  0  0  0  0  0  0  0  4.0 -----
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.6    0    0 206.5 13 13 13 12 10 13 13 13  0  0  0  0  0  0  0  0  6.5 --------
GET  0.0   0.0    0    0 217.9 13 12 13 13 12 12 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 229.3 13 12 13 13 13 11 12 13  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 240.6 13 13 13 13 13 12 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 251.9 13 13 13 12 13 13 10 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 263.2 12 12 13 12 13 13 12 13  0  0  0  0  0  0  0  0 11.3 ---------------
GET  0.0   0.0    0    0 274.4 13 13 13 13 12 13 13 11  0  0  0  0  0  0  0  0 11.2 --------------
GET  0.0   0.0    0    0 285.9 12 13 13 13 12 12 13 13  0  0  0  0  0  0  0  0 11.5 ---------------
GET  0.0   0.0    0    0 297.3 12 13 13 13 12 12 13 12  0  0  0  0  0  0  0  0 11.4 ---------------
GET  0.0   0.0    0    0 300.0  6  9  0 11 22 21 24  6  0  0  0  0  0  0  0  0  2.7 ---
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 3.9G   /dev/shm/test-shf-19973.shf

LMDB AKA Lightning MDB와의 성능 비교

위와 동일한 테스트는 다음과 같지만 SharedHashFile 대신 LMDB를 사용합니다.

참고 :

코드가 변경되지 않더라도 성능이 절반으로 떨어진 이유를 파악하십시오 :-(
사과에 더 많은 사과를 사과 해시 테이블 비교로 만들기 위해 :
mdb_get () & mdb_put ()는 LMDB를 해시 테이블로 테스트하는 데 더 빠른 커서 함수 대신 (더 빠른 커서 함수 대신) 사용됩니다.
LMDB DB 파일은 /dev /shm에 저장되므로 디스크 성능이 결과에 영향을 미치지 않도록합니다.
Put & Mix 면책 조항 : LMDB는 글쓰기가 아니라 읽기에 빠르게 설계되었습니다.
LMDBS 트랜잭션을 사용하여 수행됩니다 (읽기 : Global Lock?)
Pro : 트랜잭션이 없으면 초당 약 0.1m 만 관리하지만 모든 스레드는 결합됩니다.
CON : 트랜잭션을 사용하면 일반적으로 하나의 스레드 만 넣습니다.
CON : 거래 잠금 장치는 공정하지 않으므로 모든 프로세스가 거래를 작성하려고하지만 한 스레드는 항상이기는 경향이 있습니다.
CON : PUT 쓰기는 초당 1.1m의 건강한 1.1m에서 시작되지만 초당 0.2m로 천천히 감소합니다.
믹스는 50% CPU 만 사용했습니다. 아마도 전 세계 잠금 장치로 인해?
초당 5.xm에서 매우 빠르게 작동하지만 SharedhashFile의 속도의 약 절반.
LMDB는 SharedhashFile의 경우 2.6G 대 3.9G 만 사용했습니다.

 $ perl perf-test-lmdb.pl
...
perf testing: LMDB aka Lightning MDB
running tests on: via command: 'cat /proc/cpuinfo | egrep 'model name' | head -n 1'
running tests on: `model name   : Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz`
-OP MMAP REMAP SHRK PART TOTAL ------PERCENT OPERATIONS PER PROCESS PER SECOND -OPS
--- -k/s --k/s --/s --/s M-OPS 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 -M/s
PUT  0.0   0.0    0    0   0.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
PUT  0.0   0.0    0    0   1.1  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  1.1 -
PUT  0.0   0.0    0    0   1.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.8 -
PUT  0.0   0.0    0    0   2.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.7
PUT  0.0   0.0    0    0   3.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   4.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.6
PUT  0.0   0.0    0    0   5.0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.4  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   5.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.5
PUT  0.0   0.0    0    0   6.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   6.8  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.2  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   7.9  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.4
PUT  0.0   0.0    0    0   8.3  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0   8.6  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
...
PUT  0.0   0.0    0    0  72.1  0  0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0.3
PUT  0.0   0.0    0    0  72.3  5  0 93  2  0  0  0  0  0  0  0  0  0  0  0  0  0.2
...
PUT  0.0   0.0    0    0 100.0100  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.2
MIX  0.0   0.0    0    0 100.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
MIX  0.0   0.0    0    0 100.3 13 12 12 13 13 12 12 13  0  0  0  0  0  0  0  0  0.3
MIX  0.0   0.0    0    0 101.3 12 12 12 13 12 12 13 13  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 102.3 13 12 13 13 12 13 12 12  0  0  0  0  0  0  0  0  1.0 -
...
MIX  0.0   0.0    0    0 198.3 13 13 12 13 13 12 12 12  0  0  0  0  0  0  0  0  1.0 -
MIX  0.0   0.0    0    0 199.4 12 12 12 12 13 13 13 13  0  0  0  0  0  0  0  0  1.1 -
MIX  0.0   0.0    0    0 200.0 13 27 10  3 17  8 11 11  0  0  0  0  0  0  0  0  0.6
GET  0.0   0.0    0    0 200.0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0  0.0
GET  0.0   0.0    0    0 203.0 13 13 12 13 11 13 12 13  0  0  0  0  0  0  0  0  3.0 ---
GET  0.0   0.0    0    0 208.1 13 12 13 13 12 13 11 13  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 213.4 12 11 14 12 13 13 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 218.6 13 11 14 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 223.8 13 11 13 13 13 13 12 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 229.2 12 12 12 13 14 14 12 12  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 234.3 12 13 12 12 11 13 13 13  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 239.6 11 12 14 12 12 13 14 12  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 244.9 12 12 14 10 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 250.1 11 11 13 13 13 13 14 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 255.3 13 12 12 12 13 12 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 260.5 13 12 11 13 12 14 13 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 265.8 13 12 12 11 13 13 14 11  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 270.8 14 12 12 12 13 13 13 12  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 275.9 12 14 13 13 13 12 14 10  0  0  0  0  0  0  0  0  5.1 ------
GET  0.0   0.0    0    0 281.3 12 14 13 12 12 13 14 10  0  0  0  0  0  0  0  0  5.4 -------
GET  0.0   0.0    0    0 286.4 14 13 12 13 12 13 13 12  0  0  0  0  0  0  0  0  5.2 ------
GET  0.0   0.0    0    0 291.7 13 12 11 11 13 13 13 13  0  0  0  0  0  0  0  0  5.3 -------
GET  0.0   0.0    0    0 296.7 12 13 12 13 13 14 11 13  0  0  0  0  0  0  0  0  5.0 ------
GET  0.0   0.0    0    0 300.0 12 22 11 19 10  0  0 25  0  0  0  0  0  0  0  0  3.2 ----
GET  0.0   0.0    0    0 300.0  0  0  0  0  0  0  0100  0  0  0  0  0  0  0  0  0.0
* MIX is 2% (2000000) del/put, 98% (12100654) get
DB size: 2.6G   /dev/shm/test-lmdb-20848