WhisperMesh

耳语？

Whispermesh是您的尖端聊天机器人，它无缝地将语音和文字互动融合在一起，从而创造了丰富，直观的对话体验。 WhisperMesh凭借LLM模型的力量和复杂的矢量数据库，可以理解您的需求，从未有过，提供了与您的查询产生共鸣的量身定制响应。

利用Haystack的RAG框架，我们的应用在提取相关信息方面表现出色，确保每次交互不仅引人入胜，而且是数据驱动的。无论您喜欢说话还是打字，低语都可以适应您的风格，以个人风格将意见转变为有见地的答案。

加入与Whispermesh的对话，您的声音很重要，让我们指导您了解知识和发现的世界！ ？

技术架构

该体系结构概述了与Haystack框架集成的简化应用程序，以促进文档上传，查询和响应生成。用户通过应用程序上传PDF文档，然后由HayStack组件处理和索引，包括文档清洁器，拆分器和嵌入者，这些嵌入式和嵌入式使用Cohere Model（存储在QDrant vector数据库中）将文档转换为向量表示。当用户提交语音查询时，将其转录为文本，嵌入到向量中，并与存储的文档向量匹配以检索相关的块。这些块被馈送到Gemma 7B生成模型中，以生成连贯的响应，然后将其转换回音频以获得用户输出。该系统利用高级NLP技术来确保有效，准确的文档检索和响应生成。

关键功能

1。无缝的声音和文字互动

Whispermesh通过将语音和文本输入融合来提供尖端的对话体验，使您可以以最适合自己的方式进行交流。

2。高级LLM集成

WhisperMesh由最先进的大语言模型（LLMS）提供支持，深入了解您的需求，并提供量身定制的响应，使您的查询产生共鸣。

3。智能矢量数据库

通过使用QDRANT作为我们的矢量数据库，WhisperMesh有效地管理和检索了相关信息，从而确保了数据驱动的交互，从而增强了用户的参与度。

4。夹层嵌入模型

我们的应用程序利用了Cohere嵌入模型，以进行有效的语义理解，以确保每次互动都是有见地的，并且在上下文上意识到。

5。强大的语音到文本功能

通过Groq Cloud的Whisper-large-V3模型，WhisperMesh擅长将语音转换为文本，从而使语音交互平稳而准确。

6。个性化响应的生成模型

我们的应用采用GROQ Cloud的Gemma-7b-It模型，生成个性化响应，为每个对话增添了独特的触感。

7。数据驱动见解的RAG框架

WhisperMesh擅长提取相关信息，从而确保您的互动吸引人且内容丰富。

它如何工作

？步骤1：上传您的PDF文档并将其索引

• 上传选项：拖放文件或单击“浏览文件”以选择它们。 （最大文件大小： 200MB ）。
• 开始索引：单击'？索引文档的按钮启动索引过程。

步骤2：选择您的聊天方法

• 确定您喜欢通过文本还是语音聊天。

步骤3：问你的问题

• 文本输入：使用下面的文本框输入您的问题。
• 语音输入：单击“麦克风图标”以使用您的声音提出问题。

入门

先决条件

• Python 3.11或更高？
• GROQ API用于推理，目前可以在其Beta版本中免费获得，并具有速率限制。创建帐户后，您可以在此处获取API密钥：GROQ API。
• 此外，您还可以选择在本地或通过QDRANT云使用QDrant。它的API也可以免费使用。在此处访问：QDRANT云。
• 对于嵌入，您可以使用Cohere API。它提供了一个免费的层，您可以在此处注册并获取API键：Cohere API。

本地部署

1。克隆存储库

git clone https://github.com/Mouez-Yazidi/WhisperMesh.git
cd WhisperMesh

2。添加环境变量

• 创建一个.env文件，并根据您从所需平台获得的凭据添加以下变量：

   COHERE_API_KEY=
  GROQ_API=
  GROQ_KEY=
  QDRANT_API=
  QDRANT_KEY=
  

3。安装依赖项

导航到本地目录并安装必要的依赖项：

 cd local
pip install -r requirements.txt

4。本地运行该应用程序

要在本地运行该应用程序，请执行以下命令：

streamlit run ../app/main.py --environment local

现在，您应该能够通过http：// localhost：8501访问该应用程序。

？可选：与Docker一起跑步

如果您希望在Docker容器中运行该应用程序，请按照以下步骤：

1. 确保您安装了Docker？。
2. 构建Docker图像：

docker build -t whispermesh -f Dockerfile  ..

3. 运行容器：

docker run -p 8501:8501 whispermesh streamlit run main.py --environment local

☁️简化云部署

1。准备您的存储库

确保将代码推到GitHub存储库。

2。链接与精简云

• 访问简流云并登录。
• 连接您的github存储库？。
• 选择您的存储库和分支。

3。环境变量

• 转到应用程序的“高级设置”部分。
• 在“秘密”部分中，输入任何敏感信息，例如API密钥或其他凭据。
• 确保根据您从所需平台获得的凭据添加此变量。

COHERE_API_KEY = " "
GROQ_API = " "
GROQ_KEY = " "
QDRANT_API = " "
QDRANT_KEY = " "

简化云将：

• 从云/需求.txt安装依赖项？

？你们都设定了！您的应用程序现在将在简化的云上实时！

？特征

• 可配置：本地和云部署的单独配置文件。
• Docker支持：使用Docker进行本地容器化部署该应用程序。

表示支持！

如果您欣赏这个项目，如果您能在Github上给明星，我将很感激。您的支持激发了我们增强和扩展我们的工作！

？执照

该项目已根据MIT许可获得许可。有关更多详细信息，请参见许可证文件。

？接触

如果您有任何疑问或建议，请随时通过[email protected]与我们联系。