androidremoteGPT

Android Remote GPT de Jonathan Germain Copyright 2023 lanzado bajo la GPL GPL versión 3

Introducción

AndroidRemotegpt es un frontend de Android para chatbots que se ejecutan en servidores remotos. Es un Android/Termux Miniapp que proporciona una forma conveniente de acceder a un chatbot u otro motor de inferencia que se ejecuta en un servidor remoto a través de SSH. Está dirigido a los usuarios de modelos de IA generativos de código abierto, como los proporcionados a través de GPT4All.

Instalación

AndroidRemotegpt requiere Android y Termux. También requiere Termux: GUI. Debido a un problema continuo con la firma del paquete F-Droid Termux: GUI, debe usar la versión GitHub Termux en lugar de la versión F-Droid Termux. Las versiones de Termux de Google Play nunca deben usarse, ya que son inseguras y no se parcan.

Este software está creado para un modelo de cliente/servidor. Requiere un servidor en el que tiene lugar la inferencia. A partir de diciembre de 2023, hay una variedad de modelos y arquitecturas de código abierto disponibles que se pueden ejecutar en Linux. Se proporcionarán instrucciones para GPT4All, pero el frontend se puede usar con muchos backends diferentes.

Instalación en el dispositivo Android

1. Si Termux o Termux: API se ha instalado desde F-Droid o Google Play, elimínelos por completo. La presencia de cualquier aplicación Termux instalada desde una fuente que no sea GitHub bloqueará la instalación desde GitHub.
2. Descargue e instale Termux desde GitHub. Esta aplicación fue probada con Termux 118.
3. Descargar e instalar Termux: GUI de GitHub. Esta aplicación se probó con Termux: GUI 0.16
4. Inicie Termux y deje que se configure.
5. En Termux, ejecute "actualización de PKG". Si esto falla, ejecute "Termux-Change-Repo" e intente nuevamente.
6. En Termux, ejecute "PKG Install OpenSSH"
7. En Termux, ejecute "PKG Instalar Python3"
8. En Termux, ejecute "PIP Instale TermuxGui"
9. Copie AndroidRemotegpt.py desde donde lo haya guardado en el directorio de inicio de Termux
10. Copiar ".androidgpt" al directorio de inicio de Termux
11. En Termux, ejecute "Mkdir .ssh; chmod 700 .ssh"
12. Cree una tecla SSH y configure la autenticación basada en la clave con su servidor SSH
13. Configure el archivo de configuración SSH. Por ejemplo, el archivo en .ssh/config puede contener

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH en el servidor para asegurarse de que funcione y obtenga la clave de host.

La instalación está completa. Ahora, puede ejecutar "Python androidRemotegpt.py"

Ejemplo de configuración del servidor SSH para GPT4All

1. Como root, cree un nuevo usuario llamado Aiuser. También cree un directorio de inicio para este usuario y asegúrese de que el usuario tenga la propiedad de este directorio.

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. Asegúrese de que se instale Python. En Ubuntu, ejecute "apt -y install python3"
3. Haga la parte del servidor de la configuración de autenticación basada en clave.
4. Coloque "*" en la parte de contraseña de la entrada /etc /sombra para Aiuser
5. su a Aiuser Run "SU Aiuser"
6. Instale GPT4All. Comenzamos instalando GPT4All a través de PIP para instalar cualquier dependencia, pero la versión en PIP es antigua, por lo que la eliminamos y compilamos/instalamos la última versión.

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. Descargue sus modelos. Los modelos se pueden descargar de gpt4all.io.
8. Enlace sus modelos a donde GPT4All puede encontrarlos.

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. La interfaz de la consola para GPT4All es ~/gpt4all/gpt4all-bindings/cli/app.py
10. Crea un script de shell para ejecutar tu modelo

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

Opcionalmente, puede incluir "-t (# de hilos)" y "-d GPU" o "-d nvidia" si tiene una tarjeta de video que desea usar.

11. Prueba el script de shell
12. Opcional: prependa la entrada de clave pública en ~/.ssh/autorized_keys con `command ="/home/aiuser/your_script.sh ", restringir para limitar el uso de la cuenta de usuario de inferencia de IA

Uso

Primero, acceda a la página de configuración y asegúrese de que la información de su servidor sea correcta. El siguiente indicador de comando (NCI) y la secuencia de inicio son particularmente importantes. La secuencia de inicio es una lista de comandos de shell para ejecutarse en el servidor para alcanzar la interfaz de inferencia. El NCI le dice al frontend cuándo el chatbot ha terminado su respuesta. Para GPT4All Versión 1.0.2, el NCI es el carácter único "⇢"

Luego, regrese a la página principal y haga clic en "Conectar".

Debería aparecer la pantalla de introducción. Luego puede ingresar su consulta en el cuadro en la parte superior de la pantalla y hacer clic en Solicitar para enviar la consulta. Tenga en cuenta que debe hacer clic en "Solicitud"; Presionar ENTER solo no enviará la consulta.

Preguntas

1. ¿Por qué confiar en Termux? ¿Por qué no usar una de las diversas bibliotecas SSH disponibles para Android y hacer de esta una aplicación independiente?

La comunicación segura es compleja. OpenSSH es uno de los programas más probados en el campo; Me temo que cualquier implementación de SSH menos probada introducirá errores relacionados con la seguridad que no tengo el ancho de banda para administrar.

2. ¿Puedo usar esto con sistemas que no sean GPT4All?

Sí. Si está extrayendo modelos de Huggingface y escribiendo sus propios scripts de Python para ejecutar inferencia o usa modelos que no sean chatbots, esto funcionará. Solo asegúrese de cambiar el siguiente indicador de comando cuando cambie los sistemas.

Planes

1. Bastante en la interfaz
2. Agregue un icono para que AndroidRemotegpt se pueda iniciar desde Android directamente sin la primera carga de Termux
3. Agregar texto a voz
4. Agregue una opción de inferencia en el dispositivo para las personas que tienen 8 GB de RAM en sus dispositivos Android
5. ¿Permitir contraseñas SSH?