WECHAT AI Assistente
Interação multimodal com o assistente de AI do ChatGPT no WeChat, Process odu ° A, desempenha funções, responda a voz, imagens e mensagens de vídeo, resuma artigos e páginas da web, pesquise na Internet e muito mais. Transforme o WeChat pessoal em seu assistente de IA.
Introdução
Este projeto usa a Biblioteca WeChatferry para controlar o cliente WeChat WeChtop Windows PC e chama a API Assistant OpenAI para processamento de mensagens multimodais inteligentes.
- Fale com a IA Chatgpt (texto ou voz) no WeChat para interação multimodal.
- Usando o WeChatferry para conectar-se à versão para desktop do Windows do WeChat, alta compatibilidade com o WeChat (não é necessária autenticação de nome real) e baixo risco.
- Use a API Assistente do OpenAI para gerenciar automaticamente o contexto de conversa de bate -papo em grupo.
- Use modelos de suporte visual como o GPT-4O para executar leitura e análise de conteúdo de imagens/vídeo.
- Documentar o upload, o documento de pesquisa de conteúdo e responda às perguntas com base no conteúdo do documento (usando o OpenAI File_Search Tool).
- A IA pode usar seu próprio julgamento para chamar o intérprete de código e ferramentas externas para concluir a tarefa. Ferramentas existentes: bing_search (pesquisa bing), navegador_link (link da web navegue), text_to_image (texto Descrição da imagem), text_to_speech (texto para voz), mahjong_agari (cálculo de mahjong vertical e cartão: número de números, símbolos, número de números, etc.
- Desenvolvimento do plano de acompanhamento: Outras APIs e Tool Calls/ Enterprise WeChat e WeChat Official Conta Login
- Grupo QQ: 812016253 Clique para entrar
- Suporte a WeChat Desktop Client versão: 3.9.10.27
Casos de uso
- "Desenhe uma foto de um gato e um capybara esquiando juntos"
- "(Fotos citadas) Escreva um poema com base no conteúdo da imagem e leia para mim".
- "(Cite artigos de contas públicas ou links de página da web) Resumindo os principais pontos do artigo"
- "Pesquise notícias sobre o OpenAi e leia os resultados para mim"
- "Mão mahjong de pé 11123456789999m Touch 0m, que tipo de tipo de serviço e pontos?"
Instruções de implantação
Condições necessárias para a implantação:
- API Open API NOTA: Este projeto se baseia na API do assistente.
- Computador Windows ou servidor.
- (Opcional, chinês doméstico) Acesse o servidor de proxy do OpenAI (como o OpenAI-Proxy) ou use o proxy da API.
- (Opcional, necessário para a implantação manual) Instale o ambiente Python e o Git
- Página de download do Python (Python 3.11 é recomendado, este projeto depende do Python 3.12 ou superior e não pode ser instalado automaticamente)
- Página de download do git
- (Opcional, para uso com o plug-in de pesquisa da Internet) Chave da API Bing
Método 1: Download do lançamento (usado diretamente)
- Faça o download do arquivo executável e arquivo de instalação do WeChat em lançamentos
- Instale a versão especificada do WeChat Windows Desktop (o pacote de instalação é fornecido).
- Descompacte o pacote compactado localmente.
- Edite o arquivo config.yaml (o item necessário é open API_KEY e a descrição do item de configuração é mostrada na documentação.)
- Execute "main.exe", o programa chamará o cliente do WeChat e o programa começará a ser executado após o login.
Método 2: Implantação manual do código -fonte (desenvolvimento)
- Instale a versão especificada do WeChat Windows. Faça o download no lançamento.
- Clonando o código do projeto para o local
git clone https://github.com/latorc/Wechat-AI-Assistant.git
- (Opcional) Crie um ambiente virtual em Python e ative -o
python -m venv .venv
call .venv S cripts a ctivate.bat
- Instale a biblioteca dependente;
cd Wechat-AI-Assistant
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
- Editar arquivo de configuração: renomeie o arquivo de configuração config_template.yaml para config.yaml e edite o item de configuração. Consulte a documentação para a descrição do item de configuração.
- Execute main.py
O programa chamará automaticamente o cliente WeChat e, em seguida, digitalize o código para fazer login no cliente WeChat Desktop para começar a usá -lo.
Itens de configuração principais
| Itens de configuração | ilustrar | Dê um exemplo |
|---|
| api_key | Sua chave de API OpenAI | SK-ABCDEFG12345678 .... |
| base_url | O URL da API, sem necessidade de alterar a API padrão, preencher ao usar a API proxy ou de terceiros | https://api.openai.com/v1 |
| Proxy | O endereço do servidor proxy usado para acessar o OpenAI, no formato "http: // endereço: número da porta" | http://10.0.0.10:8002 |
| chat_model | O modelo de bate -papo usado por padrão | GPT-4O |
| Administradores | Lista de ID do administrador WeChat, apenas os administradores podem usar comandos de administrador | [WX1234, WX2345] |
Para outras opções de configuração, consulte os comentários no config.yaml.
Dicas de uso
- Adicione os amigos do WeChat WeChat WeChat AI, ou adicione -o ao bate -papo em grupo e @ It e tenha uma conversa com ele.
- Uma conversa direta com ele chamará o ChatGPT para responder. Depois de enviar fotos e arquivos, referenciar imagens e arquivos e assistente @Ai, instruindo -os a processá -las.
- O Assistente do WeChat AI selecionará e chamará a ferramenta de forma independente para concluir a tarefa com base no texto do usuário. Atualmente, as ferramentas incluem desenho (Openai Dall-E-3), intérprete de código, voz sintética (API OpenAI), acesso a páginas da web, pesquisa, etc.
- A qualidade do desenho é temporariamente controlada pela IA
- Somente a versão especificada do WeChat é suportada. Feche o cliente aberto do WeChat Desktop antes de executar.
Comandos de administrador
Depois que o administrador é definido (o projeto Admins no arquivo config.yaml), o administrador pode usar o comando do administrador. O comando padrão é o seguinte:
| Ordem | ilustrar |
|---|
| $ Ajuda | Mostre informações de ajuda |
| $ Configuração de refresh | Recarregue a configuração do programa |
| $ Claro | Limpar a memória de conversa atual |
| $ Load <nome predefinido> | Carregue predefinições para a conversa atual |
| $ Accessores de redefinição | Redefinir predefinir para predefinição padrão para a conversa atual |
| $ Lista predefinida | Mostrar predefinições disponíveis |
| $ id | Mostre o ID da conversa atual |
Esses comandos podem ser modificados em config.yaml
Função predefinida de diálogo
- As predefinições de diálogo são palavras rápidas do sistema e métodos de embalagem de mensagens que entram em vigor na conversa atual (bate -papo em grupo ou bate -papo único).
- Use o comando padrão "$ load <nome predefinido>" para o assistente de IA carregar predefinições para a conversa atual. O comando "$ predefinição" exibe as predefinições atualmente disponíveis e suas descrições.
- <Nome predefinido> é um arquivo de configuração da YAML com o mesmo nome definido no diretório Preset.
- Default.yaml é a predefinição padrão e é usada por padrão para diálogo.
- Você pode usar o campo group_presets no arquivo de configuração para definir predefinições para a conversa, que será carregada automaticamente quando o programa iniciar.
- Para criar suas próprias predefinições, consulte o padrão.yaml no diretório Preset, ou seja, a predefinição padrão. Copie o arquivo, altere o nome para o nome predefinido e modifique as informações nele.
- Desc: uma descrição simples das predefinições
- SYS_PROMPT: PALAVRAS DE PROMPT SISTEMA PRESET
- msg_format: a sequência do formato que envolve a mensagem do usuário e as variáveis {message} = mensagem original, {wxCode} = remetente wechat id, {apelido} = apelido do remetente weChat. Se não estiver definido, envie a mensagem de origem diretamente.
Ferramentas (plug-in)
- As ferramentas representam funções externas e APIs, que podem ser selecionadas e chamadas pelo modelo de IA para concluir tarefas adicionais, como desenhos, pesquisas de rede e outras funções.
- Use o comando "$ ajuda" para exibir os plug-ins de ferramenta ativados.
- Configuração da ferramenta: no campo Ferramentas no config.yaml, ele define se a ferramenta está ativada e as opções de configuração para a ferramenta. Para desativar a ferramenta, basta excluir ou comentar o nome do plug -in. Alguns plugins requerem opções de configuração adicionais para funcionar, como o Bing_Search (Bing Search) que exige que o API_KEY funcione.
- Cada ferramenta corresponde a uma ferramenta de função no Assistente, que pode ser visualizada no Playground Openai.
- O código da ferramenta está localizado no diretório das ferramentas, herda a classe Toolbase e implementa a interface.
Introdução à ferramenta:
- Bing_search: use a API de pesquisa do Microsoft Bing para pesquisar conteúdo na Internet.
- Registre-se para obter a API de pesquisa do Bing, consulte: https://www.microsoft.com/bing/apis/bing-web-search-api
- Browser_link: Procure links da web. Use o Selenium para obter conteúdo de texto da Web para uso pela IA.
- text_to_image: desenho de texto. Use o modelo Dall-E para gerar imagens a partir de texto.
- text_to_speech: texto para fala. Gere áudio de voz a partir do texto usando a API OpenAI.
- Audio_transscript: Voice to texto. Transcrição do discurso para o texto usando o OpenAI Whipser.
- mahjong_agari: cálculo do número de pontuações e pontos de cartão. Calcule informações como tipos de serviço, número de números, pontos, etc. Use Biblioteca: https://github.com/mahjongrepository/mahjong
Outras dicas e dicas
- Quando você não pode se conectar às APIs oficiais do país, pode tentar usar o proxy da API ou usar um proxy científico da Internet. Um proxy da API gratuito é o Openai-proxy.com, substituindo base_url por https://api.openai-proxy.com/v1
- Você pode usar um emulador móvel (como o emulador Xiaoyao) para fazer login no WeChat e fazer login no cliente Windows WeChat para manter o WeChat online. Não interrompa o processo de digitalização de código do emulador, pois a detecção e a proibição do WeChat podem ser acionadas.
- O programa chama a API Assistente do OpenAI. Você pode testar este assistente no Playground Openai.
- O programa enviará fotos e arquivos para o OpenAI para processamento. Você pode visualizar e excluir seus arquivos no histórico de gerenciamento do OpenAI. O OpenAI não cobra o próprio arquivo, mas possui restrições ao espaço total ocupado pelo arquivo.
- O programa envia a descrição da definição de todas as ferramentas, resultados de pesquisa e texto completo da página da web para o OpenAI. Os tokens devem ser salvos e algumas ferramentas (plug-ins) podem ser fechadas.
recurso
- Grupo QQ: 812016253 Clique para entrar
- Reconhecimento: este projeto é baseado no WeChatferry.
- Recomendado: Implante seu próprio site ChatGPT Chatgpt-Next-Web Project com um clique
- Referência: O projeto WeChat Robot Chatgpt-on-Wechat que faz login usando a versão da Web do WeChat
- Referência: OpenAl Cookbook Blog Tutorial Assistant API Visão geral
- Referência: Referência da API OpenAI
