WhisperMesh

耳語？

Whispermesh是您的尖端聊天機器人，它無縫地將語音和文字互動融合在一起，從而創造了豐富，直觀的對話體驗。 WhisperMesh憑藉LLM模型的力量和復雜的矢量數據庫，可以理解您的需求，從未有過，提供了與您的查詢產生共鳴的量身定制響應。

利用Haystack的RAG框架，我們的應用在提取相關信息方面表現出色，確保每次交互不僅引人入勝，而且是數據驅動的。無論您喜歡說話還是打字，低語都可以適應您的風格，以個人風格將意見轉變為有見地的答案。

加入與Whispermesh的對話，您的聲音很重要，讓我們指導您了解知識和發現的世界！ ？

技術架構

該體系結構概述了與Haystack框架集成的簡化應用程序，以促進文檔上傳，查詢和響應生成。用戶通過應用程序上傳PDF文檔，然後由HayStack組件處理和索引，包括文檔清潔器，拆分器和嵌入者，這些嵌入式和嵌入式使用Cohere Model（存儲在QDrant vector數據庫中）將文檔轉換為向量表示。當用戶提交語音查詢時，將其轉錄為文本，嵌入到向量中，並與存儲的文檔向量匹配以檢索相關的塊。這些塊被饋送到Gemma 7B生成模型中，以生成連貫的響應，然後將其轉換回音頻以獲得用戶輸出。該系統利用高級NLP技術來確保有效，準確的文檔檢索和響應生成。

關鍵功能

1。無縫的聲音和文字互動

Whispermesh通過將語音和文本輸入融合來提供尖端的對話體驗，使您可以以最適合自己的方式進行交流。

2。高級LLM集成

WhisperMesh由最先進的大語言模型（LLMS）提供支持，深入了解您的需求，並提供量身定制的響應，使您的查詢產生共鳴。

3。智能矢量數據庫

通過使用QDRANT作為我們的矢量數據庫，WhisperMesh有效地管理和檢索了相關信息，從而確保了數據驅動的交互，從而增強了用戶的參與度。

4。夾層嵌入模型

我們的應用程序利用了Cohere嵌入模型，以進行有效的語義理解，以確保每次互動都是有見地的，並且在上下文上意識到。

5。強大的語音到文本功能

通過Groq Cloud的Whisper-large-V3模型，WhisperMesh擅長將語音轉換為文本，從而使語音交互平穩而準確。

6。個性化響應的生成模型

我們的應用採用GROQ Cloud的Gemma-7b-It模型，生成個性化響應，為每個對話增添了獨特的觸感。

7。數據驅動見解的RAG框架

WhisperMesh擅長提取相關信息，從而確保您的互動吸引人且內容豐富。

它如何工作

？步驟1：上傳您的PDF文檔並將其索引

• 上傳選項：拖放文件或單擊“瀏覽文件”以選擇它們。 （最大文件大小： 200MB ）。
• 開始索引：單擊'？索引文檔的按鈕啟動索引過程。

步驟2：選擇您的聊天方法

• 確定您喜歡通過文本還是語音聊天。

步驟3：問你的問題

• 文本輸入：使用下面的文本框輸入您的問題。
• 語音輸入：單擊“麥克風圖標”以使用您的聲音提出問題。

入門

先決條件

• Python 3.11或更高？
• GROQ API用於推理，目前可以在其Beta版本中免費獲得，並具有速率限制。創建帳戶後，您可以在此處獲取API密鑰：GROQ API。
• 此外，您還可以選擇在本地或通過QDRANT雲使用QDrant。它的API也可以免費使用。在此處訪問：QDRANT雲。
• 對於嵌入，您可以使用Cohere API。它提供了一個免費的層，您可以在此處註冊並獲取API鍵：Cohere API。

本地部署

1。克隆存儲庫

git clone https://github.com/Mouez-Yazidi/WhisperMesh.git
cd WhisperMesh

2。添加環境變量

• 創建一個.env文件，並根據您從所需平台獲得的憑據添加以下變量：

   COHERE_API_KEY=
  GROQ_API=
  GROQ_KEY=
  QDRANT_API=
  QDRANT_KEY=
  

3。安裝依賴項

導航到本地目錄並安裝必要的依賴項：

 cd local
pip install -r requirements.txt

4。本地運行該應用程序

要在本地運行該應用程序，請執行以下命令：

streamlit run ../app/main.py --environment local

現在，您應該能夠通過http：// localhost：8501訪問該應用程序。

？可選：與Docker一起跑步

如果您希望在Docker容器中運行該應用程序，請按照以下步驟：

1. 確保您安裝了Docker？。
2. 構建Docker圖像：

docker build -t whispermesh -f Dockerfile  ..

3. 運行容器：

docker run -p 8501:8501 whispermesh streamlit run main.py --environment local

☁️簡化雲部署

1。準備您的存儲庫

確保將代碼推到GitHub存儲庫。

2。鏈接與精簡云

• 訪問簡流雲並登錄。
• 連接您的github存儲庫？。
• 選擇您的存儲庫和分支。

3。環境變量

• 轉到應用程序的“高級設置”部分。
• 在“秘密”部分中，輸入任何敏感信息，例如API密鑰或其他憑據。
• 確保根據您從所需平台獲得的憑據添加此變量。

COHERE_API_KEY = " "
GROQ_API = " "
GROQ_KEY = " "
QDRANT_API = " "
QDRANT_KEY = " "

簡化雲將：

• 從雲/需求.txt安裝依賴項？

？你們都設定了！您的應用程序現在將在簡化的雲上實時！

？特徵

• 可配置：本地和雲部署的單獨配置文件。
• Docker支持：使用Docker進行本地容器化部署該應用程序。

表示支持！

如果您欣賞這個項目，如果您能在Github上給明星，我將很感激。您的支持激發了我們增強和擴展我們的工作！

？執照

該項目已根據MIT許可獲得許可。有關更多詳細信息，請參見許可證文件。

？接觸

如果您有任何疑問或建議，請隨時通過[email protected]與我們聯繫。