WhisperMesh

Whispermesh?

Whispermesh เป็นแชทบ็อตที่ทันสมัยของคุณซึ่งผสมผสานการโต้ตอบด้วยเสียงและข้อความสร้างประสบการณ์การสนทนาที่หลากหลายและใช้งานง่าย ด้วยพลังของโมเดล LLM และฐานข้อมูลเวกเตอร์ที่ซับซ้อน Whispermesh เข้าใจความต้องการของคุณอย่างที่ไม่เคยมีมาก่อนให้การตอบสนองที่ปรับแต่งที่สอดคล้องกับการสืบค้นของคุณ

การควบคุมกรอบผ้าขี้ริ้วจาก Haystack แอพของเราเก่งในการแยกข้อมูลที่เกี่ยวข้องเพื่อให้มั่นใจว่าการโต้ตอบทุกครั้งไม่เพียง แต่มีส่วนร่วม แต่ยังขับเคลื่อนด้วยข้อมูลด้วย ไม่ว่าคุณจะชอบพูดหรือพิมพ์ Whispermesh ปรับให้เข้ากับสไตล์ของคุณเปลี่ยนอินพุตของคุณให้เป็นคำตอบที่ลึกซึ้งด้วยการสัมผัสส่วนตัว

เข้าร่วมการสนทนากับ Whispermesh ที่ซึ่งเสียงของคุณมีความสำคัญและให้เราแนะนำคุณผ่านโลกแห่งความรู้และการค้นพบ! -

สถาปัตยกรรมทางเทคนิค

สถาปัตยกรรมจัดทำแอปพลิเคชันที่มีความคล่องตัวรวมเข้ากับเฟรมเวิร์ก Haystack เพื่ออำนวยความสะดวกในการอัพโหลดเอกสารการสอบถามและการสร้างการตอบกลับ ผู้ใช้อัปโหลดเอกสาร PDF ผ่านแอพซึ่งจะถูกประมวลผลและจัดทำดัชนีโดยส่วนประกอบของ Haystack รวมถึงการทำความสะอาดเอกสารตัวแยกและตัวฝังที่แปลงเอกสารเป็นตัวแทนเวกเตอร์โดยใช้โมเดล Cohere ซึ่งเก็บไว้ในฐานข้อมูลเวกเตอร์ Qdrant เมื่อผู้ใช้ส่งแบบสอบถามเสียงจะถูกถอดความเป็นข้อความฝังลงในเวกเตอร์และจับคู่กับเวกเตอร์เอกสารที่เก็บไว้เพื่อดึงชิ้นส่วนที่เกี่ยวข้อง ชิ้นเหล่านี้จะถูกป้อนเข้าสู่โมเดล Gemma 7B Generative เพื่อสร้างการตอบสนองที่สอดคล้องกันซึ่งจะถูกแปลงกลับเป็นเสียงสำหรับเอาต์พุตของผู้ใช้ ระบบนี้ใช้ประโยชน์จากเทคนิค NLP ขั้นสูงเพื่อให้แน่ใจว่าการดึงเอกสารที่มีประสิทธิภาพและแม่นยำและการสร้างการตอบสนอง

คุณสมบัติที่สำคัญ

1. การโต้ตอบด้วยเสียงและข้อความที่ไร้รอยต่อ

Whispermesh นำเสนอประสบการณ์การสนทนาที่ทันสมัยโดยการผสมผสานการป้อนข้อมูลเสียงและข้อความช่วยให้คุณสามารถสื่อสารในแบบที่เหมาะกับคุณที่สุด

2. การรวม LLM ขั้นสูง

ขับเคลื่อนด้วยโมเดลภาษาขนาดใหญ่ที่ทันสมัย ​​(LLMs) Whispermesh เข้าใจความต้องการของคุณอย่างลึกซึ้งและให้คำตอบที่ปรับแต่งที่สอดคล้องกับการสืบค้นของคุณ

3. ฐานข้อมูลเวกเตอร์อัจฉริยะ

การใช้ qdrant เป็นฐานข้อมูลเวกเตอร์ของเรา Whispermesh จัดการและดึงข้อมูลที่เกี่ยวข้องได้อย่างมีประสิทธิภาพทำให้มั่นใจได้ว่าการโต้ตอบที่ขับเคลื่อนด้วยข้อมูลที่ช่วยเพิ่มการมีส่วนร่วมของผู้ใช้

4. โมเดลการฝังที่สอดคล้องกัน

แอปพลิเคชันของเราควบคุมแบบจำลองการฝังแบบร่วมมือเพื่อความเข้าใจเชิงความหมายที่มีประสิทธิภาพเพื่อให้มั่นใจว่าการโต้ตอบทุกครั้งนั้นลึกซึ้งและรับรู้ตามบริบท

5. ความสามารถในการพูดเป็นข้อความที่แข็งแกร่ง

ด้วยโมเดล Whisper-Large-V3 จาก Groq Cloud Whispermesh เก่งในการแปลงคำพูดเป็นข้อความทำให้การโต้ตอบด้วยเสียงราบรื่นและแม่นยำ

6. แบบจำลองการกำเนิดสำหรับการตอบกลับส่วนบุคคล

ใช้โมเดล Gemma-7b-it จาก Groq Cloud แอปของเราสร้างคำตอบส่วนบุคคลเพิ่มสัมผัสที่เป็นเอกลักษณ์ให้กับการสนทนาทุกครั้ง

7. กรอบ RAG สำหรับข้อมูลเชิงลึกที่ขับเคลื่อนด้วยข้อมูล

การควบคุมกรอบการใช้ผ้าขี้ริ้ว (การสืบค้น-การเติมเงิน) จาก Haystack , Whispermesh เก่งในการสกัดข้อมูลที่เกี่ยวข้องเพื่อให้มั่นใจว่าการโต้ตอบของคุณมีส่วนร่วมและให้ข้อมูล

มันทำงานอย่างไร

- ขั้นตอนที่ 1: อัปโหลดเอกสาร PDF ของคุณและจัดทำดัชนี

• ตัวเลือกอัปโหลด: ลากและวางไฟล์ของคุณหรือคลิกที่ 'เรียกดูไฟล์' เพื่อเลือก (ขนาดไฟล์สูงสุด: 200MB )
• เริ่มการจัดทำดัชนี: คลิกที่ '? ปุ่ม ดัชนีเอกสาร เพื่อเริ่มกระบวนการทำดัชนี

ขั้นตอนที่ 2: เลือกวิธีการแชทของคุณ

• ตัดสินใจว่าคุณต้องการแชทผ่าน ข้อความ หรือ เสียง

ขั้นตอนที่ 3: ถามคำถามของคุณ

• อินพุตข้อความ: ใช้กล่องข้อความด้านล่างเพื่อพิมพ์คำถามของคุณ
• อินพุตเสียง: คลิก ไอคอนไมโครโฟน? เพื่อถามคำถามโดยใช้เสียงของคุณ

เริ่มต้น

ข้อกำหนดเบื้องต้น

• Python 3.11 หรือสูงกว่า?
• GROQ API สำหรับการอนุมานซึ่งปัจจุบันมีให้บริการฟรีในรุ่นเบต้าพร้อมขีด จำกัด อัตรา คุณสามารถรับคีย์ API ของคุณได้ที่นี่หลังจากสร้างบัญชี: GROQ API
• นอกจากนี้คุณมีตัวเลือกในการใช้ QDRANT ทั้งในพื้นที่หรือผ่านคลาวด์ QDRANT API ของมันยังใช้งานได้ฟรี เข้าถึงได้ที่นี่: Qdrant Cloud
• สำหรับ Embeddings คุณสามารถใช้ Cohere API มีระดับฟรีและคุณสามารถลงทะเบียนและรับรหัส API ของคุณได้ที่นี่: Cohere API

การปรับใช้ในท้องถิ่น

1. โคลนที่เก็บ

git clone https://github.com/Mouez-Yazidi/WhisperMesh.git
cd WhisperMesh

2. เพิ่มตัวแปรสภาพแวดล้อม

• สร้างไฟล์ .env และเพิ่มตัวแปรต่อไปนี้ตามข้อมูลรับรองที่คุณได้รับจากแพลตฟอร์มที่ต้องการ:

   COHERE_API_KEY=
  GROQ_API=
  GROQ_KEY=
  QDRANT_API=
  QDRANT_KEY=
  

3. ติดตั้งการพึ่งพา

นำทางไปยังไดเรกทอรีท้องถิ่นและติดตั้งการพึ่งพาที่จำเป็น:

 cd local
pip install -r requirements.txt

4. กำลังใช้แอพในพื้นที่

ในการเรียกใช้แอพในเครื่องให้ดำเนินการคำสั่งต่อไปนี้:

streamlit run ../app/main.py --environment local

ตอนนี้คุณควรเข้าถึงแอพได้ที่ http: // localhost: 8501

- ตัวเลือก: ทำงานกับ Docker

หากคุณต้องการเรียกใช้แอพในคอนเทนเนอร์ Docker ให้ทำตามขั้นตอนเหล่านี้:

1. ตรวจสอบให้แน่ใจว่าคุณติดตั้ง Docker หรือไม่
2. สร้างภาพนักเทียบท่า:

docker build -t whispermesh -f Dockerfile  ..

3. เรียกใช้คอนเทนเนอร์:

docker run -p 8501:8501 whispermesh streamlit run main.py --environment local

☁การปรับใช้คลาวด์ Streamlit

1. เตรียมที่เก็บของคุณ

ตรวจสอบให้แน่ใจว่ารหัสของคุณถูกส่งไปยังที่เก็บ GitHub

2. ลิงก์ด้วยระบบคลาวด์แบบสตรีม

• เยี่ยมชม Streamlit Cloud และลงชื่อเข้าใช้
• เชื่อมต่อที่เก็บ GitHub ของคุณ?.
• เลือกที่เก็บและสาขาของคุณ

3. ตัวแปรสภาพแวดล้อม

• ไปที่ส่วน "การตั้งค่าขั้นสูง" ของแอปของคุณ
• ในส่วน "ความลับ" ป้อนข้อมูลที่ละเอียดอ่อนใด ๆ เช่นคีย์ API หรือข้อมูลรับรองอื่น ๆ
• ตรวจสอบให้แน่ใจว่าได้เพิ่มตัวแปรนี้ตามข้อมูลประจำตัวที่คุณได้รับจากแพลตฟอร์มที่ต้องการ

COHERE_API_KEY = " "
GROQ_API = " "
GROQ_KEY = " "
QDRANT_API = " "
QDRANT_KEY = " "

คลาวด์ที่มีความคล่องตัวจะ:

• ติดตั้งการพึ่งพาจากคลาวด์/ข้อกำหนด. txt?

- คุณพร้อมแล้ว! แอปของคุณจะอยู่บน Streamlit Cloud!

- คุณสมบัติ

• สามารถกำหนดค่าได้: ไฟล์การกำหนดค่าแยกต่างหากสำหรับการปรับใช้ในพื้นที่และคลาวด์
• ฝ่ายสนับสนุน Docker: ปรับใช้แอพโดยใช้ Docker สำหรับการจัดคอนเทนเนอร์ในท้องถิ่น

แสดงการสนับสนุนของคุณ!

หากคุณชื่นชมโครงการนี้ฉันจะขอบคุณถ้าคุณสามารถให้ดาวบน GitHub ได้ การสนับสนุนของคุณกระตุ้นให้เราปรับปรุงและขยายงานของเรา!

- ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตสำหรับรายละเอียดเพิ่มเติม

- ติดต่อ

หากคุณมีคำถามหรือข้อเสนอแนะอย่าลังเลที่จะเปิดปัญหาหรือติดต่อเราที่ [email protected]