androidremoteGPT

Android Remote GPT от Jonathan Germain Copyright 2023 выпущен в GNU GPL версии 3

Введение

AndroidRemoteGPT - это фронт Android для чат -ботов, работающих на удаленных серверах. Это Android/Termux Miniapp, который обеспечивает удобный способ получить доступ к чат -боту или другому механизму вывода, работающего на удаленном сервере через SSH. Он нацелен на пользователей моделей Generative AI с открытым исходным кодом, таких как модели, предоставляемые через GPT4All.

Установка

AndroidRemoteGPT требует как Android, так и Termux. Это также требует Termux: GUI. Из-за постоянной проблемы с подписанием пакета F-Droid Termux: GUI вы должны использовать выпуск GitHub Termux, а не выпуск F-Droid Termux. Версии термина из Google Play никогда не должны использоваться, поскольку они небезопасны и не будут исправлены.

Это программное обеспечение создано для модели клиента/сервера. Требуется сервер, на котором происходит вывод. По состоянию на декабрь 2023 года существует множество моделей с открытым исходным кодом и архитектуры, которые можно запускать на Linux. Инструкции будут предоставлены для GPT4All, но фронт может использоваться со многими различными бэкэнами.

Установка на устройстве Android

1. Если Termux или Termux: API был установлен из F-Droid или Google Play, удалите их полностью. Присутствие любого приложения Termux, установленного из источника, не связанного с GitHub, будет блокировать установку из GitHub.
2. Загрузите и установите Termux с GitHub. Это приложение было протестировано с Termux 118.
3. Загрузите и установите Termux: GUI от GitHub. Это приложение было протестировано с помощью Termux: GUI 0,16
4. Запустите Termux и позвольте ему настроить себя.
5. В Termux запустите «Обновление PKG». Если это не удается, запустите «Termux-Change-Repo» и попробуйте еще раз.
6. В Termux запустите "Pkg Install OpenSsh"
7. В Termux запустите "PKG Установка Python3"
8. В Termux запустите "Pip Install TermuxGui"
9. Скопируйте AndroidRemoteGpt.py, где бы вы ни сохранили его в Termux Home Directory
10. Скопировать ".androidgpt" в Termux Home Directory
11. В Termux запустите "mkdir .ssh; chmod 700 .ssh"
12. Создайте клавишу SSH и настройте аутентификацию на основе ключей с помощью SSH-сервера
13. Настройте файл конфигурации SSH. Например, файл в .ssh/config может содержать

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH на сервер, чтобы убедиться, что он работает, и получить ключ хоста.

Установка завершена. Теперь вы можете запустить "Python AndroidRemoteGpt.py"

Пример настройки сервера SSH для GPT4All

1. Как root, создайте нового пользователя по имени Aiuser. Также создайте домашний каталог для этого пользователя и убедитесь, что пользователь владеет этим каталогом.

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. Убедитесь, что Python установлен. На Ubuntu запустите "apt -y install python3"
3. Сделайте часть сервера настройки аутентификации на основе ключей.
4. Поместите «*» в часть пароля в записи /etc /shadow для aiuser
5. Su to Aiuser Run "Su Aiuser"
6. Установите gpt4all. Мы начинаем с установки GPT4ALL через PIP для установки любых зависимостей, но версия в PIP старая, поэтому мы удаляем его и составляем/устанавливаем последнюю версию.

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. Загрузите свои модели. Модели могут быть загружены с gpt4all.io.
8. Свяжите свои модели, где GPT4ALL может их найти.

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. Интерфейс консоли для gpt4all-~/gpt4all/gpt4all-bindings/cli/app.py
10. Создайте скрипт оболочки для запуска вашей модели

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

При желании вы можете включить "-t (# of Threads)" и "-d GPU" или "-d nvidia", если у вас есть видеокарта, которую вы хотите использовать.

11. Проверьте сценарий оболочки
12. Необязательно: Подготовьте запись открытого ключа в ~/.ssh/autorized_keys с `command ="/home/aiuser/your_script.sh ", ограничивает ограничение использования учетной записи пользователя AI вывода

Использование

Во -первых, обратитесь к странице конфигурации и убедитесь, что информация о вашем сервере является правильной. Следующий индикатор команды (NCI) и последовательность запуска особенно важны. Последовательность запуска представляет собой список команд Shell для работы на сервере, чтобы достичь интерфейса вывода. NCI сообщает The Frontend, когда чатбот закончил свой ответ. Для версии GPT4all 1.0.2 NCI - это единственный символ "⇢"

Затем вернитесь на главную страницу и нажмите «Подключиться».

Вступительный экран должен появиться. Затем вы можете ввести свой запрос в поле в верхней части экрана и нажать «Запрос», чтобы отправить запрос. Обратите внимание, что вы должны нажать «Запрос»; Нажатие ввода в одиночку не отправит запрос.

Вопросы

1. Зачем полагаться на термин? Почему бы не использовать одну из различных библиотек SSH, доступной для Android, и сделать это автономным приложением?

Безопасная связь сложна. OpenSSH является одной из наиболее проверенных программ в этой области; Я боюсь, что любая менее тестируемая реализация SSH будет представлять ошибки, связанные с безопасностью, с которыми у меня нет пропускной способности.

2. Могу ли я использовать это с другими системами, кроме GPT4All?

Да. Если вы тянете модели из HuggingFace и пишете свои собственные сценарии Python для выполнения вывода, или вы используете модели, отличные от чат -ботов, это будет работать. Просто обязательно измените следующий индикатор команды при изменении систем.

Планы

1. Довольно
2. Добавить значок, чтобы AndroidRemoteGpt можно было запустить с Android напрямую без первой загрузки Termux
3. Добавить текст в речь
4. Добавить вариант вывода на постройке для людей, у которых 8 ГБ оперативной памяти на своих устройствах Android
5. Разрешить пароли SSH?