vector admin

Universal UI และ Tool Suite สำหรับการจัดการฐานข้อมูลเวกเตอร์ในระดับ

- - - เอกสาร | อินสแตนซ์ที่โฮสต์

เร็ว! คุณช่วยบอกได้ เลยว่า ข้อมูลใดที่ฝังอยู่ในฐานข้อมูล Pinecone หรือ Chroma Vector ของคุณ? ฉันพนันได้เลยว่าคุณทำไม่ได้ ในขณะที่ทีมเหล่านั้นมุ่งเน้นไปที่การสร้างสถาปัตยกรรมพื้นฐานเราทำให้คุณ จัดการ ข้อมูลเวกเตอร์ได้ง่ายขึ้นโดยไม่ต้องปวดหัวและการโทร API

เราเรียกมันว่า VectorAdmin และเราต้องการเป็น GUI สากลที่ดีที่สุดสำหรับการจัดการฐานข้อมูลเวกเตอร์

ดูภาพหน้าจอเพิ่มเติม

ดูการสาธิต!

ภาพรวมผลิตภัณฑ์

VectorAdmin ตั้งเป้าหมายที่จะเป็นแอปพลิเคชั่นเต็มรูปแบบที่ให้คุณควบคุมข้อมูลเวกเตอร์ที่ไม่เป็นประโยชน์อย่างอื่นที่คุณฝังผ่าน API หรือใช้เครื่องมือเช่น Langchain ซึ่งไม่แสดงให้คุณเห็นว่าคุณบันทึกอะไรลงในฐานข้อมูลของคุณ

VectorAdmin เป็นผลิตภัณฑ์หลายผู้ใช้ที่มีความสามารถเต็มรูปแบบที่คุณสามารถเรียกใช้ในเครื่องผ่าน Docker รวมถึงโฮสต์จากระยะไกลและจัดการฐานข้อมูลเวกเตอร์หลายตัวพร้อมกัน

VectorAdmin เป็นมากกว่าเครื่องมือเดียว VectorAdmin เป็น ชุด เครื่องมือที่ทำให้การโต้ตอบกับและทำความเข้าใจกับข้อความเวกเตอร์ได้ง่ายโดยไม่ต้องประนีประนอมกับการควบคุมที่คุณคาดหวังจากระบบการจัดการฐานข้อมูลแบบดั้งเดิม

คุณสมบัติที่ยอดเยี่ยมของ vectoradmin

• การสนับสนุนอินสแตนซ์ของผู้ใช้หลายคนและการกำกับดูแล
• ดูอะตอมอัพเดตและลบชิ้นข้อความเอกพจน์ของการฝังตัว
• คัดลอกเอกสารทั้งหมดหรือแม้กระทั่งเนมสเปซทั้งหมดและการฝังโดยไม่ต้องจ่ายเงินเพื่อฝังอีกครั้ง
• อัปโหลดและฝังเอกสารใหม่ลงในฐานข้อมูลเวกเตอร์โดยตรง
• โยกย้ายฐานข้อมูลเวกเตอร์ทั้งหมดที่มีอยู่ไปยังประเภทหรืออินสแตนซ์อื่น ยังอยู่ระหว่างดำเนินการ
• จัดการฐานข้อมูลเวกเตอร์ที่เกิดขึ้นพร้อมกันหลายครั้งพร้อมกัน
• ข้อมูลการอนุญาตและการเข้าถึงข้อมูล
• พร้อมการปรับใช้คลาวด์ 100%
• การทดสอบการถดถอยอัตโนมัติที่ทำงานเป็นเนมสเปซหรือคอลเลกชันได้รับการปรับปรุงด้วยเอกสารใหม่เพื่อให้แน่ใจว่าคุณภาพการตอบสนอง ยังอยู่ระหว่างดำเนินการ
• API เต็มรูปแบบ, JavaScript และ Python Standalone Client และ Langchain Integration ยังอยู่ระหว่างดำเนินการ
• มาตรการประหยัดต้นทุนที่มีประสิทธิภาพมากสำหรับการจัดการเอกสารที่มีขนาดใหญ่มาก คุณจะไม่จ่ายเงินเพื่อฝังเอกสารขนาดใหญ่หรือการถอดเสียงมากกว่าหนึ่งครั้ง

ภาพรวมทางเทคนิค

monorepo นี้ประกอบด้วยสามส่วนหลัก:

• document-processor : แอพ Flask เพื่อย่อยแยกวิเคราะห์และฝังเอกสารได้อย่างง่ายดาย
• frontend : Vitejs + React Frontend ที่คุณสามารถเรียกใช้เพื่อสร้างและจัดการเนื้อหาทั้งหมดของคุณได้อย่างง่ายดาย
• backend : เซิร์ฟเวอร์ NodeJS + Express เพื่อจัดการการโต้ตอบทั้งหมดและทำการจัดการ VectordB ทั้งหมด
• workers : อินสแตนซ์ InnestJS เพื่อจัดการกระบวนการพื้นหลังที่ดำเนินมายาวนานเพื่อประสิทธิภาพที่รวดเร็ว
• docker : เรียกใช้ส่วนโค้งทั้งหมดนี้ในคำสั่งเดียวตาม คำแนะนำของ นักเทียบท่า

ความต้องการ

• yarn และ node บนเครื่องของคุณ
• python 3.9+ สำหรับใช้สคริปต์ใน document-processor/
• การเข้าถึงคีย์ OpenAI API หากวางแผนที่จะอัปเดต EMBEDDING หรืออัปโหลดเอกสารใหม่
• บัญชีฟรี Pinecone.io หรืออินสแตนซ์ Chromadb ที่กำลังทำงานอยู่

วิธีเริ่มต้นใช้งาน (Docker - Simple Setup)

ลุกขึ้นและทำงานในไม่กี่นาทีกับนักเทียบท่า

วิธีเริ่มต้น (สภาพแวดล้อมการพัฒนา)

คำแนะนำด้านล่างจะ ไม่ ทำงานบน Windows

• yarn dev:setup จากไดเรกทอรีรากโครงการ
• cd document-processor && python3.9 -m virtual-env v-env && source v-env/bin/activate && pip install -r requirements.txt

ในหน้าต่างเทอร์มินัลแยกต่างหากจาก Project Root:

• yarn prisma:setup เพื่อสร้างการโยกย้าย DB และไคลเอนต์จากนั้นเรียกใช้ yarn dev:server
• yarn dev:frontend
• yarn dev:workers
• cd document-processor && flask run --host '0.0.0.0' --port 8888

ในการบูตครั้งแรกและการเยี่ยมชมหน้าแรกคุณจะได้รับการเปลี่ยนเส้นทางโดยอัตโนมัติเพื่อสร้างบัญชีผู้ดูแลระบบหลักองค์กรและการเชื่อมต่อฐานข้อมูล

การบริจาค

• สร้างปัญหา
• สร้าง PR ด้วยรูปแบบชื่อสาขาของ <issue number>-<short name>
• อืมฮอว์มารวมกัน

telemetry

VectorAdmin โดย Mintplex Labs Inc มีคุณสมบัติ telemetry ที่รวบรวมข้อมูลการใช้งานที่ไม่ระบุชื่อ

ทำไม

เราใช้ข้อมูลนี้เพื่อช่วยให้เราเข้าใจว่ามีการใช้ VectorAdmin อย่างไรเพื่อช่วยให้เราจัดลำดับความสำคัญของการทำงานเกี่ยวกับคุณสมบัติใหม่และการแก้ไขข้อบกพร่องและเพื่อช่วยให้เราปรับปรุงประสิทธิภาพและความมั่นคงของ VectorAdmin

การเลือกไม่

ตั้งค่า DISABLE_TELEMETRY ในเซิร์ฟเวอร์หรือนักเทียบท่า. การตั้งค่า. ENV เป็น "จริง" เพื่อยกเลิกการใช้ telemetry

 DISABLE_TELEMETRY="true"

คุณติดตามอะไรอย่างชัดเจน?

เราจะติดตามรายละเอียดการใช้งานที่ช่วยให้เราตัดสินใจผลิตภัณฑ์และแผนงานโดยเฉพาะ: โดยเฉพาะ:

• เซิร์ฟเวอร์เริ่มต้นหรือบูต
• การติดตั้งเวอร์ชันของคุณ
• ประเภทของงานเมื่อดำเนินการ

คุณสามารถตรวจสอบการอ้างสิทธิ์เหล่านี้ได้โดยการค้นหาสถานที่ทั้งหมด Telemetry.sendTelemetry เรียกว่า นอกจากนี้เหตุการณ์เหล่านี้จะถูกเขียนลงในบันทึกเอาต์พุตเพื่อให้คุณสามารถดูข้อมูลเฉพาะที่ถูกส่ง - หากเปิดใช้งาน ไม่มีการรวบรวม IP หรือข้อมูลการระบุอื่น ๆ ผู้ให้บริการ telemetry คือ Posthog - บริการคอลเลกชัน telemetry โอเพนซอร์ส