หน้าแรก>แหล่งข้อมูลการสร้างเว็บไซต์>ซอร์สโค้ดแฟลช
ดาวน์โหลด

QDDA - เครื่องวิเคราะห์การซ้ำซ้อนที่รวดเร็วและสกปรก

โลโก้

คำอธิบาย

QDDA ตรวจสอบไฟล์ชื่อท่อหรืออุปกรณ์บล็อกสำหรับบล็อกที่ซ้ำกันเพื่อประเมินประสิทธิภาพการขจัดข้อมูลซ้ำซ้อนในการ dedupe ที่มีความสามารถอาร์เรย์แฟลชทั้งหมด นอกจากนี้ยังประมาณอัตราส่วนการบีบอัด

QDDA ใช้ MD5 Hashing และ LZ4 หรือ deflate การบีบอัดและเก็บค่าแฮชนับจำนวนแฮชและจำนวนไบต์ที่บีบอัดในรูปแบบฐานข้อมูล SQLite

คุณสมบัติอื่น ๆ :

  • ไม่ได้สแกนเพียงตัวอย่าง - ข้อมูลทั้งหมดจะถูกสแกน
  • สามารถดำเนินการเป็นไม่ใช่รูต (ด้วยเหตุผลด้านความปลอดภัย)
  • ข้อมูลที่ไม่ใช่ Linux (UNIX, Windows, VMware) สามารถสแกนผ่าน IP (NetCat/Pipes)
  • สามารถสแกนสภาพแวดล้อมสด (เช่นเซิร์ฟเวอร์ฐานข้อมูล Prod)
  • การปรับขนาดบล็อกระหว่าง 1K และ 128K
  • ในตัว IO throttle เพื่อหลีกเลี่ยงระบบการผลิตมากเกินไป (เริ่มต้น 200MB/s)
  • สามารถรวม (รวม) ผลลัพธ์จากโหนดที่แตกต่างกัน (เช่นสภาพแวดล้อมการจัดเก็บแบบกระจาย)
  • สเกลเป็นชุดข้อมูลของหลายเทราไบต์ (ทดสอบ 3+TB) แม้ว่าอาจใช้เวลาสักครู่
  • สามารถรายงานการบีบอัดและฮิสโตแกรมซ้ำซ้อน
  • ความเร็วในการสแกน (สังเกต) สูงสุด 7GB/s (มัลติเธรด)
  • ฐานข้อมูล SQLite สามารถสอบถามได้ด้วยเครื่องมือ SQLite มาตรฐาน

หน้า wiki: qdda

การติดตั้ง: QDDA ถูกสร้างและบรรจุสำหรับ EL6 (CentOS, RHEL ฯลฯ ) และเข้ากันได้ดีขึ้นดังนั้นจึงทำงานได้ดีบนระบบที่ใช้ EL7 ดูหน้า Wiki สำหรับคำแนะนำในการดาวน์โหลด

การดาวน์โหลด

เวอร์ชันล่าสุด

การติดตั้ง

จากไฟล์ zip:

  • ดาวน์โหลด zipfile และวางไบนารี qdda ใน $ path

จากที่เก็บ Yum (RPM/YUM): 

 yum install https://yum.dirty-cache.com/dcrepo-release.rpm
yum install qdda

จากแหล่งที่มา:

ดูการติดตั้ง

การใช้งาน

เรียกใช้ qdda -h สำหรับตัวเลือกบรรทัดคำสั่ง qdda -m สำหรับความช่วยเหลือที่ครอบคลุมมากขึ้น เอกสารเพิ่มเติมเกี่ยวกับหน้า wiki: https://wiki.dirty-cache.com/qdda

หน้ามนุษย์

ดูหน้า MAN คุณสามารถเรียกใช้หน้า Man Embedded โดยใช้ qdda -m หากระบบของคุณรองรับ หากมีการติดตั้ง QDDA จาก RPM หรือ make install คุณสามารถทำ man qdda ได้

ตัวอย่าง

ตัวอย่างแสดง QDDA ทำงานกับอุปกรณ์ ASM 4 Oracle กับ Oracle 12C และ ASM ฐานข้อมูลบนดิสก์มีข้อมูลมาตรฐาน Swingbench ประมาณ 1GB ที่โหลดพร้อมกับพื้นที่ว่างเปล่า 700m ฐานข้อมูลกำลังทำงานในขณะที่เราสแกน

ตัวอย่างเอาท์พุท (Oracle ASM) 

 qdda 2.0.7 - The Quick & Dirty Dedupe Analyzer
Use for educational purposes only - actual array reduction results may vary

Database info (/home/jail/qdda.db):
database size       = 2.51 MiB
array id            = XtremIO X2
blocksize           = 16 KiB

Overview:
total               =     6144.00 MiB (    393216 blocks)
free (zero)         =     3596.94 MiB (    230204 blocks)
used                =     2547.06 MiB (    163012 blocks)
dedupe savings      =      435.56 MiB (     27876 blocks)
deduped             =     2111.50 MiB (    135136 blocks)
compressed          =      438.74 MiB (     79.22 %)
allocated           =      528.39 MiB (     33817 blocks)

Details:
used                =     2547.06 MiB (    163012 blocks)
compressed raw      =      442.53 MiB (     82.63 %)
unique data         =     1930.66 MiB (    123562 blocks)
non-unique data     =      616.41 MiB (     39450 blocks)

Summary:
percentage used     =       41.46 %
percentage free     =       58.54 %
deduplication ratio =        1.21
compression ratio   =        4.00
thin ratio          =        2.41
combined            =       11.63
raw capacity        =     6144.00 MiB
net capacity        =      528.39 MiB

ความจุดิบ = พื้นที่ดิสก์สแกนทั้งหมด

ความจุสุทธิ = พื้นที่ที่จำเป็นใน Xtremio X2

อนาคต

  • อาร์เรย์ที่เก็บข้อมูลเพิ่มเติม
  • คิวรีฐานข้อมูลพิเศษเพิ่มเติม
  • วิธีการบีบอัดหลายวิธี

การออกใบอนุญาต

QDDA ได้รับใบอนุญาตภายใต้ GPLV3 ดู "การคัดลอก" สำหรับข้อมูลเพิ่มเติม

สนับสนุน

โปรดยื่นข้อบกพร่องและปัญหาที่หน้าปัญหา GitHub

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด