ask discord

disqueur de demande

Recherche sémantique rapide de la discorde flamboyante

Aperçu

ask-discord permet aux utilisateurs de rechercher sémantiquement un ensemble de données de messages Discord. Il y a deux modes de recherche principaux:

1. RAW : affiche les messages les plus similaires basés sur les ANN et la similitude du cosinus.
2. LLM : alimente les résultats bruts dans un LLM pour générer une réponse de type chatbot.

Commencer

Condition préalable

• Docker
• Clé API Openai
• Milvus 2.4.4
• Python 3.12.3

Installation

1. Clone le référentiel :

   git clone https://github.com/yourusername/ask-discord.git
   cd ask-discord

2. Installez les dépendances :

   pip install -r requirements.txt

3. Configurer des variables d'environnement : créez un fichier .env dans le répertoire racine et ajoutez votre clé API OpenAI:

    OPENAI_KEY = your_openai_api_key

4. Démarrez Milvus : Suivez le guide d'installation de Milvus pour configurer et démarrer Milvus. (Nécessite une installation récente de Docker)

Exécution de l'application

1. Générez les données : Téléchargez vos canaux d'intérêt à l'aide de Discord Chat Exporter. Lisez ce guide si vous avez du mal à obtenir votre jeton et vos identifiants de canal. Ce n'est pas une approbation car les canaux de téléchargement peuvent violer Discord TOS.

2. Chargez les données : assurez-vous que le fichier de données JSON se trouve dans le chemin correct spécifié dans configs . Modifiez le chemin d'accès dans le fichier principal si nécessaire.

3. Exécutez l'application Streamlit :

   streamlit run ask-discord.py

4. Accédez à l'application : ouvrez votre navigateur Web et accédez à http://localhost:8501 .

Documentation

Fichiers de projet

• ask-discord.py : point d'entrée principal dans l'application Streamlit. Il initialise les configurations, se connecte à Milvus et OpenAI et configure la base de données et le chatbot.
• load_data.py : gère le chargement et le traitement des données de discorde JSON et gère la collection Milvus.
• Chatbot.py : contient la classe Chatbot qui gère l'interrogation de Milvus et interagir avec le mode brut / llm.

Configuration

Les configurations sont gérées via un dictionnaire dans ask-discord.py . Ceux-ci incluent:

• OPENAI_CLIENT : instance du client OpenAI.
• CHAT_MODEL : Le modèle à utiliser pour le chat (par exemple, gpt-4o ).
• EMBEDDING_MODEL : Le modèle à utiliser pour générer des intégres.
• JSON_DATA_PATH : Chemin vers le fichier de données JSON.
• EMBEDDING_DIMENSIONS : dimensions vectorielles.
• MAX_MESSAGE_LENGTH : Nombre maximum de caractères dans un message à considérer.
• MIN_MESSAGE_LENGTH : nombre minimum de caractères dans un message à considérer.
• COLLECTION_NAME : Nom de la collection Milvus.
• MAX_SIMILAR_EXAMPLES : Nombre maximum de messages similaires à récupérer.
• SIMILARITY_SCORE_CUTOFF : coupure pour le score de similitude.

Contributif

Les contributions sont les bienvenues! Veuillez soumettre une demande de traction ou ouvrir un problème pour discuter de toute modification.

Licence

Ce projet est autorisé sous la licence du MIT. Voir le fichier de licence pour plus de détails.

Remerciements

• Exportateur de chat Discord