WhisperMesh

ささやき？

Whispermeshは、音声とテキストの相互作用をシームレスにブレンドし、豊かで直感的な会話エクスペリエンスを作成する最先端のチャットボットです。 LLMモデルのパワーと洗練されたベクターデータベースにより、Whispermeshはこれまでにないようなニーズを理解し、クエリに共鳴するカスタマイズされた応答を提供します。

HaystackからRAGフレームワークを活用して、当社のアプリは関連情報を抽出することに優れており、すべての相互作用が魅力的であるだけでなく、データ駆動型であることを保証します。スピーキングやタイピングを好むかどうかにかかわらず、Whispermeshはあなたのスタイルに適応し、個人的なタッチであなたの入力を洞察に満ちた答えに変えます。

Whispermeshとの会話に参加してください。ここでは、声が重要です。知識と発見の世界を案内してください！ ？

技術アーキテクチャ

アーキテクチャは、HayStack Frameworkと統合された流線アプリケーションの概要を説明し、ドキュメントのアップロード、クエリ、および応答生成を促進します。ユーザーはアプリを介してPDFドキュメントをアップロードします。このドキュメントは、QDrant Vectorデータベースに保存されているCohereモデルを使用してドキュメントをベクトル表現に変換するドキュメントクリーナー、スプリッター、埋め込み剤など、Haystackコンポーネントによって処理およびインデックス作成されます。ユーザーが音声クエリを送信すると、テキストに転写され、ベクトルに埋め込まれ、保存されたドキュメントベクトルと一致して関連するチャンクを取得します。これらのチャンクはGemma 7B生成モデルに供給され、コヒーレントな応答を生成し、ユーザー出力のためにオーディオに戻されます。このシステムは、高度なNLPテクニックを活用して、効率的かつ正確なドキュメントの取得と応答の生成を確保しています。

重要な機能

1。シームレスな音声とテキストの相互作用

Whispermeshは、音声とテキストの入力をブレンドして、最先端の会話エクスペリエンスを提供し、自分に合った方法でコミュニケーションをとることができます。

2。高度なLLM統合

最先端の大手言語モデル（LLMS）を搭載したWhispermeshは、お客様のニーズを深く理解し、クエリに共鳴するカスタマイズされた応答を提供します。

3。インテリジェントベクトルデータベース

QDRANTをベクターデータベースとして利用して、Whispermeshは関連情報を効率的に管理および取得し、ユーザーのエンゲージメントを強化するデータ駆動型の対話を確保します。

4。埋め込みモデルを共有します

当社のアプリケーションは、効果的なセマンティック理解のためにcoを埋め込むモデルを活用し、すべての相互作用が洞察に富んで文脈的に認識されるようにします。

5。堅牢な音声からテキストへの機能

GROQ CloudのWhisper-Large-V3モデルにより、Whispermeshは音声をテキストに変換することに優れており、音声の相互作用をスムーズで正確にします。

6。パーソナライズされた応答の生成モデル

GROQ CloudからGEMMA-7B-ITモデルを使用すると、当社のアプリはパーソナライズされた応答を生成し、すべての会話にユニークなタッチを追加します。

7。データ駆動型の洞察のRAGフレームワーク

HayStackからRAG（検索の継続的な生成）フレームワークを活用して、Whispermeshは関連情報を抽出し、相互作用が魅力的で有益であることを保証します。

それがどのように機能するか

？ステップ1：PDFドキュメントをアップロードしてインデックスを付けます

• オプションのアップロード：ファイルをドラッグアンドドロップするか、 [ファイルを参照]をクリックして選択します。 （最大ファイルサイズ： 200MB ）。
• インデックスを開始します： 'をクリックしますか？インデックスドキュメント 'ボタンをインデックス作成プロセスを開始します。

ステップ2：チャット方法を選択します

• テキストまたは音声でチャットするかどうかを決定します。

ステップ3：質問してください

• テキスト入力：以下のテキストボックスを使用して、質問を入力します。
• 音声入力： [？§マイク]アイコンをクリックして、音声を使用して質問します。

はじめる

前提条件

• Python 3.11以上？
• 推論のためのGROQ API。これは現在、レート制限のあるベータバージョンで無料で利用できます。アカウントを作成した後、ここでAPIキーを取得できます：GROQ API。
• さらに、QDRANTをローカルまたはQDRANTクラウドを介して使用するオプションがあります。そのAPIも自由に使用できます。ここにアクセス：QDRANTクラウド。
• 埋め込みには、Cohere APIを使用できます。無料の層を提供し、サインアップしてAPIキーを取得することができます：Cohere API。

ローカル展開

1。リポジトリをクローンします

git clone https://github.com/Mouez-Yazidi/WhisperMesh.git
cd WhisperMesh

2.環境変数を追加します

• .envファイルを作成し、必要なプラットフォームから取得した資格情報に従って次の変数を追加します。

   COHERE_API_KEY=
  GROQ_API=
  GROQ_KEY=
  QDRANT_API=
  QDRANT_KEY=
  

3.依存関係をインストールします

ローカルディレクトリに移動し、必要な依存関係をインストールします。

 cd local
pip install -r requirements.txt

4.アプリをローカルに実行します

アプリをローカルに実行するには、次のコマンドを実行します。

streamlit run ../app/main.py --environment local

これで、http：// localhost：8501でアプリにアクセスできるようになりました。

？オプション：Dockerで実行します

Dockerコンテナでアプリを実行することを好む場合は、次の手順に従ってください。

1. Dockerがインストールされていることを確認してください。
2. Docker画像を作成します：

docker build -t whispermesh -f Dockerfile  ..

3. コンテナを実行します：

docker run -p 8501:8501 whispermesh streamlit run main.py --environment local

Cludelitクラウドの展開

1。リポジトリを準備します

コードがGitHubリポジトリにプッシュされていることを確認してください。

2。RimeLitクラウドにリンクします

• Riremlitクラウドにアクセスしてサインインします。
• GitHubリポジトリを接続しますか？
• リポジトリとブランチを選択してください。

3。環境変数

• アプリの「Advanced Settings」セクションに移動します。
• 「秘密」セクションで、APIキーやその他の資格情報などの機密情報を入力します。
• 必要なプラットフォームから取得した資格情報に従って、この変数を必ず追加してください。

COHERE_API_KEY = " "
GROQ_API = " "
GROQ_KEY = " "
QDRANT_API = " "
QDRANT_KEY = " "

rimtlitクラウドは次のとおりです。

• cloud/compoess.txtから依存関係をインストールしますか？

？あなたはすべて設定されています！これで、アプリはRimelit Cloudでライブになります！

？特徴

• 設定可能：ローカルおよびクラウド展開用の個別の構成ファイル。
• Dockerのサポート：ローカルコンテナ化のためにDockerを使用してアプリを展開します。

あなたのサポートを見せてください！

このプロジェクトに感謝​​しているなら、GitHubでスターを渡すことができれば感謝します。あなたのサポートは、私たちの仕事を強化し、拡大するように私たちを動機付けます！

？ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。

？接触

ご質問や提案がある場合は、お気軽に問題を開くか、[email protected]にお問い合わせください。