Assistant WECHAT AI
Interaction multimodale avec ChatGPT AI Assistant dans WeChat, Processez les questions et réponses, jouez des rôles, répond aux messages vocaux, images et vidéo, résumer des articles et des pages Web, rechercher sur Internet, etc. Transformez le WeChat personnel en votre assistant AI.
Introduction
Ce projet utilise la bibliothèque WeChatferry pour contrôler le client WeChat de bureau Windows PC et appelle l'API Assistant OpenAI pour le traitement des messages multimodaux intelligents.
- Parlez à Chatgpt AI (texte ou voix) dans WeChat pour une interaction multimodale.
- En utilisant WeChatferry pour se connecter à la version Windows Desktop de WeChat, une compatibilité élevée avec WeChat (aucune authentification réelle n'est requise) et à faible risque.
- Utilisez l'API Assistant OpenAI pour gérer automatiquement le contexte de conversation de chat de groupe.
- Utilisez des modèles de support visuel tels que GPT-4O pour effectuer la lecture et l'analyse du contenu d'image / vidéo.
- Téléchargement de documents, recherche de contenu de document et répondez aux questions en fonction du contenu du document (à l'aide de l'outil File_Search intégré OpenAI).
- L'IA peut utiliser son propre jugement pour appeler l'interprète de code et les outils externes pour terminer la tâche. Outils existants: Bing_Search (Bing Search), Browser_Link (Browse Web Link), Text_To_image (Text Description à l'image), Text_To_Speech (Text to Voice), Mahjong_agari (calcul de Mahjong vertical et carte: nombre de nombres, symboles, nombre de nombres de nombres, points, etc.)
- Développement du plan de suivi: Autres API et appels d'outils / Enterprise WeChat et WeChat Compte officiel Connexion
- Groupe QQ: 812016253 Cliquez pour rejoindre
- Prise en charge de la version du client WeChat Desktop: 3.9.10.27
Cas d'utilisation
- "Dessinez une photo d'un chat et d'un ski capybara ensemble"
- "(Images citées) Écrivez un poème basé sur le contenu de l'image et me le lisez."
- "(Citer des articles de compte public ou des liens de page Web) Résume les points clés de l'article"
- "Recherchez des nouvelles sur Openai et lisez les résultats pour moi"
- "Tenez-vous en position verticale Mahjong Hand 1112345678999m Touch 0m, quel type de type de service et de points?"
Instructions de déploiement
Conditions requises pour le déploiement:
- Note de clé de l'API OpenAI: Ce projet repose sur l'API assistant.
- Ordinateur ou serveur Windows.
- (Facultatif, Chinois domestique) Accédez au serveur proxy d'Openai (tel que OpenAI-Proxy), ou utilisez un proxy API.
- (Facultatif, requis pour le déploiement manuel) Installez l'environnement Python et Git
- La page de téléchargement Python (Python 3.11 est recommandée, ce projet dépend de Python 3.12 ou supérieur et ne peut pas être automatiquement installé)
- Page de téléchargement GIT
- (Facultatif, pour une utilisation avec le plug-in de recherche Internet)
Méthode 1: Télécharger à partir de la version (utilisée directement)
- Téléchargez le fichier exécutable emballé et le fichier d'installation de WeChat dans les versions
- Installez la version spécifiée de WeChat Windows Desktop (le package d'installation est fourni).
- Décompressez le package compressé localement.
- Modifiez le fichier config.yaml (l'élément requis est Openai API_KEY, et la description de l'élément de configuration est affichée dans la documentation.)
- Exécutez "Main.exe", le programme appellera le client WeChat et le programme commencera à s'exécuter après la connexion.
Méthode 2: Déploiement manuel du code source (développement)
- Installez la version spécifiée de WECHAT Windows. Veuillez le télécharger en version.
- Cloner le code du projet vers local
git clone https://github.com/latorc/Wechat-AI-Assistant.git
- (Facultatif) Créez un environnement virtuel Python et activez-le
python -m venv .venv
call .venv S cripts a ctivate.bat
- Installez la bibliothèque dépendante;
cd Wechat-AI-Assistant
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
- Modifier le fichier de configuration: renommez le fichier de configuration config_template.yaml à config.yaml et modifiez l'élément de configuration. Voir la documentation pour la description de l'élément de configuration.
- Run Main.py
Le programme appellera automatiquement le client WeChat, puis analysera le code pour vous connecter au client WeChat Desktop pour commencer à l'utiliser.
Éléments de configuration principale
| Éléments de configuration | illustrer | Donner un exemple |
|---|
| api_key | Votre clé API OpenAI | SK-ABCDEFG12345678 .... |
| base_url | L'URL de l'API, pas besoin de modifier l'API par défaut, de remplir lors de l'utilisation de l'API proxy ou tiers | https://api.openai.com/v1 |
| procuration | L'adresse du serveur proxy utilisé pour accéder à OpenAI, au format "http: // adresse: numéro de port" | http://10.0.0.10:8002 |
| chat_model | Le modèle de chat utilisé par défaut | GPT-4O |
| administrateurs | Liste de l'administrateur WECHAT ID, seuls les administrateurs peuvent utiliser des commandes d'administrateur | [WX1234, WX2345] |
Pour d'autres options de configuration, consultez les commentaires dans config.yaml.
Conseils d'utilisation
- Ajoutez WeChat Friends de Wechat AI, ou ajoutez-le au chat de groupe et @ it et ayez une conversation avec.
- Une conversation directe avec cela appellera Chatgpt pour répondre. Après avoir envoyé des photos et des fichiers, des images et des fichiers de référence et l'assistant @AI, en leur demandant de les traiter.
- L'assistant WECHAT AI sélectionnera et appellera indépendamment l'outil pour terminer la tâche en fonction du texte de l'utilisateur. À l'heure actuelle, les outils incluent le dessin (Openai Dall-E-3), l'interprète de code, la voix synthétique (API OpenAI), l'accès aux pages Web, la recherche, etc.
- La qualité du dessin est temporairement contrôlée par l'IA
- Seule la version spécifiée de WeChat est prise en charge. Veuillez fermer le client Open WeChat Desktop avant de courir.
Commandes d'administrateur
Une fois l'administrateur défini (le projet Admins dans le fichier config.yaml), l'administrateur peut utiliser la commande Administrator. La commande par défaut est la suivante:
| Commande | illustrer |
|---|
| $ Aide | Afficher les informations d'aide |
| $ Configuration de rafraîchissement | Recharger la configuration du programme |
| $ Clair | Effacer la mémoire de conversation actuelle |
| $ Load <Nom de préréglage> | Chargez des préréglages pour la conversation actuelle |
| $ Réinitialiser les préréglages | Réinitialisez le préréglage au préréglage par défaut pour la conversation actuelle |
| $ Liste prédéfinie | Afficher les préréglages disponibles |
| $ id | Afficher l'ID de la conversation actuelle |
Ces commandes peuvent être modifiées dans config.yaml
Fonction prédéfinie du dialogue
- Les préréglages de dialogue sont des mots rapides système et des méthodes d'emballage de messages qui prennent effet sur la conversation actuelle (chat de groupe ou chat unique).
- Utilisez la commande par défaut "$ Load <Nom de Preset>" pour que l'assistant AI charge des préréglages pour la conversation actuelle. La commande "$ preset" affiche les préréglages actuellement disponibles et leurs descriptions.
- <Nom de Preset> est un fichier de configuration YAML avec le même nom défini dans le répertoire Presets.
- Default.yaml est le préréglage par défaut et est utilisé par défaut pour le dialogue.
- Vous pouvez utiliser le champ Group_Presets dans le fichier de configuration pour définir des préréglages pour la conversation, qui sera automatiquement chargé au démarrage du programme.
- Pour créer vos propres préréglages, reportez-vous à Default.yaml dans le répertoire préréglé, c'est-à-dire le préréglage par défaut. Copiez le fichier, modifiez le nom en nom de préréglage et modifiez les informations.
- Desc: une description simple des préréglages
- SYS_PROMPT: Mottes rapides du système préréglé
- msg_format: la chaîne de format qui enveloppe le message de l'utilisateur et les variables {message} = message d'origine, {wxcode} = Sender WeChat ID, {surnom} = Sender WeChat surnom. Si vous n'êtes pas défini, envoyez le message source directement.
Outils (plug-in)
- Les outils représentent des fonctions externes et des API, qui peuvent être sélectionnées et appelées par le modèle AI pour effectuer des tâches supplémentaires, telles que les dessins, les recherches de réseau et d'autres fonctions.
- Utilisez la commande "$ help" pour afficher les plug-ins d'outils activés.
- Configuration de l'outil: Dans le champ Outils de config.yaml, il définit si l'outil est activé et les options de configuration de l'outil. Pour désactiver l'outil, supprimez ou commentez simplement le nom du plugin. Certains plugins nécessitent des options de configuration supplémentaires pour fonctionner, telles que Bing_Search (Bing Search) qui nécessite un API_KEY pour fonctionner.
- Chaque outil correspond à un outil de fonction dans Assistant, qui peut être visualisé sur Openai Playground.
- Le code d'outil est situé dans le répertoire des outils, hérite de la classe de la base d'outils et implémente l'interface.
Introduction de l'outil:
- Bing_Search: utilisez l'API de recherche Microsoft Bing pour rechercher du contenu sur Internet.
- Inscrivez-vous pour obtenir l'API de recherche Bing Voir: https://www.microsoft.com/bing/apis/bing-web-search-api
- Browser_link: parcourir les liens Web. Utilisez Selenium pour obtenir du contenu de texte Web pour une utilisation par l'IA.
- text_to_image: dessin de texte. Utilisez le modèle Dall-E pour générer des images à partir de texte.
- text_to_speech: texte vers la parole. Générez l'audio vocal à partir du texte à l'aide de l'API OpenAI.
- Audio_transscript: voix en texte. Transcription de la parole en texte à l'aide d'Openai Whipser.
- Mahjong_agari: calcul du nombre de ponctuations et de points de carte. Calculez des informations telles que les types de services, le nombre de nombres, les points, etc. Utilisez la bibliothèque: https://github.com/mahjongrepository/mahjong
Autres conseils et conseils
- Lorsque vous ne pouvez pas vous connecter aux API officielles du pays, vous pouvez essayer d'utiliser un proxy API ou utiliser un proxy Internet scientifique. Un proxy API gratuit est openai-proxy.com, remplaçant Base_url par https://api.openai-proxy.com/v1
- Vous pouvez utiliser un émulateur mobile (comme l'émulateur Xiaoyao) pour vous connecter à WeChat et vous connecter au client Windows WeChat pour garder WeChat en ligne. N'interrompez pas le processus de balayage de code de l'émulateur, car la détection et l'interdiction de WeChat peuvent être déclenchés.
- Le programme appelle l'API assistant d'Openai. Vous pouvez tester cet assistant sur Openai Playground.
- Le programme téléchargera des photos et des fichiers sur OpenAI pour le traitement. Vous pouvez afficher et supprimer vos fichiers dans le fond de gestion OpenAI. OpenAI ne facture pas le fichier lui-même, mais il a des restrictions sur l'espace total occupé par le fichier.
- Le programme envoie la description de définition de tous les outils, les résultats de la recherche et le texte intégral de la page Web à OpenAI. Les jetons doivent être enregistrés et certains outils (plug-ins) peuvent être fermés.
ressource
- Groupe QQ: 812016253 Cliquez pour rejoindre
- Remerciement: Ce projet est basé sur WeChatferry.
- Recommandé: Déployez votre propre projet de site Web Chatgpt ChatGpt-Next-Web en un seul clic
- Référence: le projet WeChat Robot Chatgpt-on-WECHAT qui se connecte en utilisant la version Web de WeChat
- Référence: Openai Cookbook Blog Tutorial Assistant API API
- Référence: référence de l'API OpenAI
