ask discord

ディスコードに聞いてください

不一致チャネルの高速セマンティック検索

概要

ask-discord使用すると、ユーザーはDiscordメッセージのデータセットを意味的に検索できます。 2つの主な検索モードがあります。

1. RAW ：ANNとCOSINEの類似性に基づいて、最も類似したメッセージを表示します。
2. LLM ：生の結果をLLMに送り、チャットボットのような応答を生成します。

はじめる

前提条件

• Docker
• Openai APIキー
• Milvus 2.4.4
• Python 3.12.3

インストール

1. リポジトリをクローンします：

   git clone https://github.com/yourusername/ask-discord.git
   cd ask-discord

2. 依存関係をインストールします：

   pip install -r requirements.txt

3. 環境変数の設定：ルートディレクトリに.envファイルを作成し、OpenAI APIキーを追加します。

    OPENAI_KEY = your_openai_api_key

4. Milvusを開始：Milvusインストールガイドに従って、Milvusをセットアップして開始します。 （最近のDockerのインストールが必要です）

アプリケーションの実行

1. データの生成：Discord Chat Exporterを使用して、関心のあるチャネルをダウンロードします。トークンやチャンネルIDを取得するのに問題がある場合は、このガイドをお読みください。ダウンロードチャネルがDiscord TOSに違反する可能性があるため、これは承認ではありません。

2. データのロード：JSONデータファイルがconfigsで指定された正しいパスにあることを確認します。必要に応じて、メインファイルのパスを変更します。

3. retrylitアプリケーションを実行します：

   streamlit run ask-discord.py

4. アプリケーションへのアクセス：Webブラウザを開き、 http://localhost:8501にアクセスしてください。

ドキュメント

プロジェクトファイル

• ask-discord.py：retrylitアプリケーションへのメインエントリポイント。構成を初期化し、MilvusとOpenaiに接続し、データベースとチャットボットをセットアップします。
• load_data.py：JSON Discord Dataの読み込みと処理を処理し、Milvusコレクションを管理します。
• Chatbot.py：MilvusのクエリとRaw/LLMモードとの対話を処理するChatbotクラスが含まれています。

構成

構成は、 ask-discord.pyの辞書を通じて管理されます。これらには以下が含まれます：

• OPENAI_CLIENT ：openaiクライアントインスタンス。
• CHAT_MODEL ：チャットに使用するモデル（ gpt-4oなど）。
• EMBEDDING_MODEL ：埋め込みの生成に使用するモデル。
• JSON_DATA_PATH ：JSONデータファイルへのパス。
• EMBEDDING_DIMENSIONS ：ベクトル寸法。
• MAX_MESSAGE_LENGTH ：考慮すべきメッセージ内の文字の最大数。
• MIN_MESSAGE_LENGTH ：考慮すべきメッセージ内の文字の最小数。
• COLLECTION_NAME ：milvusコレクションの名前。
• MAX_SIMILAR_EXAMPLES ：取得する同様のメッセージの最大数。
• SIMILARITY_SCORE_CUTOFF ：類似性スコアのカットオフ。

貢献

貢献は大歓迎です！ Pullリクエストを送信するか、問題を開き、変更について議論してください。

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを参照してください。

謝辞

• Discord Chat Exporter