WeChat AI Assistant
Мультимодальное взаимодействие с ассистентом AI CATGPT в WeChat, Process Q & A, воспроизводить роли, реагировать на голосовые, изображения и видео -сообщения, суммировать статьи и веб -страницы, поиск в Интернете и многое другое. Превратите личный WeChat в вашего помощника искусственного интеллекта.
Введение
В этом проекте используется библиотека WeChatferry для управления настольным клиентом Wecktop WeChat и вызывает API Assistant OpenAI для интеллектуальной обработки мультимодальной сообщения.
- Поговорите с AI (текст или голос) в WeChat для мультимодального взаимодействия.
- Использование WeChatferry для подключения к настольной версии Weachtop WeChat, высокая совместимость с WeChat (не требуется реальная аутентификация) и низкий риск.
- Используйте API Assistant Assistant Openai, чтобы автоматически управлять контекстом разговора в групповом чате.
- Используйте модели визуальной поддержки, такие как GPT-4O, чтобы выполнить чтение и анализ изображения/видеоконтента.
- Загрузка документа, поиск содержимого документа и ответьте на вопросы на основе содержимого документа (используя встроенный инструмент File_search OpenAI).
- ИИ может использовать свое собственное суждение, чтобы вызвать интерпретатор кода и внешние инструменты для выполнения задачи. Существующие инструменты: bing_search (bing search), browser_link (просмотр веб -ссылки), text_to_image (описание текста на картинку), Text_to_speech (текст к голосу), mahjong_agari (расчет вертикальных махджонг и карта: число чисел, символы, количество чисел, очки и т. Д.)
- Разработка плана последующего наблюдения: другие API и инструментальные вызовы/ предприятие WeChat и WeChat Официальная учетная запись
- QQ Group: 812016253 Нажмите, чтобы присоединиться
- Поддержка версия клиента WeChat Desktop: 3.9.10.27
Варианты использования
- «Нарисуйте фото кота и капитанский лыж вместе»
- «(Цитируемые картинки) Напишите стихотворение на основе содержания картинки и прочитайте его мне».
- "(Стаится статьи общедоступной учетной записи или ссылки на веб -страницы) Подводятся ключевые моменты статьи"
- «Ищите новости о Openai и прочитайте результаты мне»
- «Стены на маджонг рука 1112345678999m Touch 0M, какой тип обслуживания и очки?»
Инструкции по развертыванию
Условия, необходимые для развертывания:
- Ключевая примечание API OpenAI: этот проект полагается на помощника API.
- Windows Computer или сервер.
- (Необязательный, домашний китайский) Доступ к прокси-серверу Openai (например, OpenAI-Proxy) или используйте прокси API.
- (Необязательно, требуется для ручного развертывания) Установите среду Python и GIT
- Страница загрузки Python (рекомендуется Python 3.11, этот проект зависит от Python 3.12 или выше и не может быть автоматически установлен)
- GIT Скачать страницу
- (Необязательно, для использования с подключением поиска в Интернете) Bing Поиск API
Метод 1: Скачать из релиза (используется напрямую)
- Загрузите упакованный исполняемый файл и файл установки WeChat в выпусках
- Установите указанную версию WeChat Windows Desktop (предоставлен установка).
- Распал сжатый пакет локально.
- Отредактируйте файл config.yaml (требуемый элемент openai api_key, а описание элемента конфигурации показано в документации.)
- Запустите «main.exe», программа позвонит на клиенту WeChat, и программа начнет работать после входа в систему.
Метод 2: Ручное развертывание исходного кода (разработка)
- Установите указанную версию WeChat Windows. Пожалуйста, загрузите его в релизе.
- Клонирование кода проекта на локальный
git clone https://github.com/latorc/Wechat-AI-Assistant.git
- (Необязательно) Создайте виртуальную среду Python и активируйте ее
python -m venv .venv
call .venv S cripts a ctivate.bat
- Установите зависимую библиотеку;
cd Wechat-AI-Assistant
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
- Редактировать файл конфигурации: переименовать файл конфигурации config_template.yaml для config.yaml и редактировать элемент конфигурации. Смотрите документацию для описания элемента конфигурации.
- Запустить main.py
Программа автоматически вызовет клиент WeChat, а затем сканирует код, чтобы войти в вход в настольный клиент WeChat, чтобы начать его использование.
Основные элементы конфигурации
| Элементы конфигурации | иллюстрировать | Привести пример |
|---|
| api_key | Ваш ключ API OpenAI | sk-abcdefg12345678 .... |
| base_url | URL-адрес API, не нужно изменять API по умолчанию, заполните при использовании прокси или стороннего API | https://api.openai.com/v1 |
| прокси | Адрес прокси -сервера, используемый для доступа к OpenAI, в формате "http: // адрес: номер порта" | http://10.0.0.10:8002 |
| CHAT_MODEL | Модель чата, используемая по умолчанию | GPT-4O |
| администраторы | Список идентификатора администратора WeChat, только администраторы могут использовать команды администратора | [WX1234, WX2345] |
Для других параметров конфигурации см. Комментарии в config.yaml.
Советы по использованию
- Добавьте друзей WeChat Assistant Assistant или добавьте его в групповой чат и @ it и поговорите с ним.
- Прямой разговор с ним позвонит Catgpt, чтобы ответить. После отправки изображений и файлов, эталонных изображений и файлов и помощника @AI, инструктируя их обработать их.
- Помощник WeChat AI независимо выберет и вызовет инструмент, чтобы выполнить задачу на основе текста пользователя. В настоящее время инструменты включают рисунок (OpenAI DALL-E-3), интерпретатор кода, синтетический голос (OpenAI API), доступ к веб-страницам, поиск и т. Д.
- Качество рисования временно контролируется ИИ
- Поддерживается только указанная версия WeChat. Пожалуйста, закройте открытый настольный клиент WeChat перед запуском.
Команды администратора
После определения администратора (проект Admins в файле config.yaml) администратор может использовать команду администратора. Команда по умолчанию выглядит следующим образом:
| Заказ | иллюстрировать |
|---|
| $ Помощь | Показать информацию о справке |
| $ Rebresh Configuration | Перезагрузить конфигурацию программы |
| $ Ясно | Очистить текущую память разговора |
| $ Load <ПРЕДУПТИРОВАНИЕ ИМЯ> | Загрузить пресеты для текущего разговора |
| $ Сбросить предустановки | Сбросить предустановку в предварительную работу по умолчанию для текущего разговора |
| $ Предустановлен | Показать доступные пресеты |
| $ id | Покажите идентификатор текущего разговора |
Эти команды могут быть изменены в config.yaml
Диалог предустановлена функция
- Профилатели диалога - это системы быстрого приглашения и методов упаковки сообщений, которые вступают в силу в текущем разговоре (групповой чат или отдельный чат).
- Используйте команду по умолчанию «$ Load <ПРЕДОСТАТНОЕ ИМЯ>», чтобы помощник по ИИ загрузил пресеты для текущего разговора. Команда "$ preset" отображает доступные в настоящее время пресеты и их описания.
- <Preset name> - файл конфигурации YAML с тем же именем, определенным в каталоге PRESETS.
- Default.yaml - это предустановка по умолчанию и используется по умолчанию для диалога.
- Вы можете использовать поле Group_presets в файле конфигурации, чтобы установить пресеты для разговора, который будет автоматически загружаться при запуске программы.
- Чтобы создать свои собственные пресеты, обратитесь к Default.yaml в каталоге пресетов, то есть на предварительную установку по умолчанию. Скопируйте файл, измените имя на свое предустановленное имя и измените информацию в нем.
- Desc: простое описание пресетов
- SYS_PROMPT: предустановленные системы
- msg_format: строка формата, которая завершает пользовательское сообщение, и переменные {message} = исходное сообщение, {wxcode} = Sender weChat id, {chickname} = pender weChat. Если не установлено, отправьте исходное сообщение напрямую.
Инструменты (плагин)
- Инструменты представляют внешние функции и API, которые можно выбрать и вызвать моделью ИИ для выполнения дополнительных задач, таких как чертежи, сетевые поиски и другие функции.
- Используйте команду «$ help», чтобы отобразить включенные плагины инструмента.
- Конфигурация инструмента: в поле Tools в config.yaml она определяет, включен ли инструмент и параметры конфигурации для инструмента. Чтобы отключить инструмент, просто удалите или прокомментируйте имя плагина. Некоторые плагины требуют дополнительных параметров конфигурации для работы, таких как Bing_Search (Bing Search), которые требуют работы API_KEY.
- Каждый инструмент соответствует функциональному инструменту в Assistant, который можно просмотреть на игровой площадке Openai.
- Код инструмента находится в каталоге инструментов, наследует класс инструментов и реализует интерфейс.
Введение инструмента:
- bing_search: используйте API Search Microsoft Bing для поиска контента в Интернете.
- Зарегистрируйтесь, чтобы получить API поиска Bing См.: Https://www.microsoft.com/bing/apis/bing-web-search-api
- Browser_link: Обзор веб -ссылок. Используйте Selenium, чтобы получить контент веб -текста для использования с помощью ИИ.
- text_to_image: текстовый чертеж. Используйте модель Dall-E, чтобы генерировать изображения из текста.
- text_to_speech: текст на речь. Создать голосовой аудио из текста, используя API OpenAI.
- audio_transscript: голос в текст. Транскрибировать речь в текст, используя Openai Whipser.
- MAHJONG_AGARI: Расчет количества пунктов и кард -точек. Рассчитайте информацию, такую как типы услуг, количество чисел, баллы и т. Д. Используйте библиотеку: https://github.com/mahjongrepository/mahjong
Другие советы и советы
- Когда вы не можете подключиться к официальным API в стране, вы можете попробовать использовать API -прокси или использовать научный интернет -прокси. Бесплатный API-прокси-это openai-proxy.com, заменяя base_url на https://api.openai-proxy.com/v1
- Вы можете использовать мобильный эмулятор (например, эмулятор Xiaoyao) для входа в WeChat и войти в клиент Windows WeChat, чтобы сохранить WeChat онлайн. Не прерывайте процесс сканирования кода эмулятора, так как можно обнаружить обнаружение и запрет WeChat.
- Программа вызывает помощник API OpenAI. Вы можете проверить этого помощника на игровой площадке Openai.
- Программа будет загружать фотографии и файлы в Openai для обработки. Вы можете просмотреть и удалять свои файлы в фоне управления OpenAI. OpenAI не заряжает сам файл, но имеет ограничения на общее пространство, занятое файлом.
- Программа отправляет описание определения всех инструментов, результатов поиска и полный текст веб -страницы в Openai. Токены должны быть сохранены, а некоторые инструменты (плагины) могут быть закрыты.
ресурс
- QQ Group: 812016253 Нажмите, чтобы присоединиться
- Благодарность: этот проект основан на Wechatferry.
- Рекомендуется: развернуть свой собственный веб-сайт CHATGPT CHATGPT-NEXT-WEB Project с одним щелчком
- Ссылка: проект WeChat Robot Chatgpt-on-WeChat, который входит в систему, используя веб-версию WeChat
- Ссылка: Openai Cookbook Blog Assistant Assistant API Обзор
- Ссылка: OpenAI API Ссылка
