androidremoteGPT
1.0.0
Android Remote GPT par Jonathan Germain Copyright 2023 publié sous la version 3 GNU GPL 3
AndroidRemotegpt est un frontend Android pour les chatbots fonctionnant sur des serveurs distants. Il s'agit d'un Android / Termux MiniApp qui fournit un moyen pratique d'accéder à un chatbot ou à un autre moteur d'inférence fonctionnant sur un serveur distant via SSH. Il est destiné aux utilisateurs de modèles d'IA génératifs open source tels que ceux fournis via GPT4ALL.
AndroidRemotegpt nécessite à la fois Android et Termux. Il nécessite également Termux: GUI. En raison d'un problème continu avec la signature du package F-Droid Termux: GUI, vous devez utiliser la version GitHub Termux plutôt que la version F-D-Droid Termux. Les versions de Termux à partir de Google Play ne doivent jamais être utilisées car elles ne sont pas en sécurité et ne seront pas corrigées.
Ce logiciel est conçu pour un modèle client / serveur. Il nécessite un serveur sur lequel l'inférence a lieu. En décembre 2023, il existe une variété de modèles et d'architectures open source disponibles qui peuvent être exécutés sur Linux. Des instructions seront fournies pour GPT4ALL, mais le frontend peut être utilisé avec de nombreux backends différents.
host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id
L'installation est complète. Maintenant, vous pouvez exécuter "Python AndroidRemotegpt.py"
useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser
pip install gpt4all
pip uninstall gpt4all
pip install typer
git clone --recurse-submodules https://github.com/nomic-ai/gpt4all
cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .
mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .
#!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf
Facultativement, vous pouvez inclure "-T (# de threads)" et "-d gpu" ou "-d nvidia" si vous avez une carte vidéo que vous souhaitez utiliser.
Tout d'abord, accédez à la page de configuration et assurez-vous que les informations de votre serveur sont correctes. L'indicateur de commande suivant (NCI) et la séquence de démarrage sont particulièrement importants. La séquence de démarrage est une liste des commandes shell à exécuter sur le serveur afin d'atteindre l'interface d'inférence. Le NCI dit au frontend quand le chatbot a terminé sa réponse. Pour GPT4ALL Version 1.0.2, le NCI est le seul caractère "⇢" "
Ensuite, revenez à la page principale et cliquez sur "Connecter".
L'écran d'intro doit apparaître. Vous pouvez ensuite saisir votre requête dans la case en haut de l'écran et cliquer sur la demande pour envoyer la requête. Notez que vous devez cliquer sur "Demande"; Appuyez sur Entrée seul n'enverra pas la requête.
La communication sécurisée est complexe. OpenSSH est l'un des programmes les plus testés dans le domaine; Je crains que la mise en œuvre de SSH moins testée introduire les bogues liés à la sécurité que je n'ai pas la bande passante à gérer.
Oui. Si vous tirez des modèles de HuggingFace et écrivez vos propres scripts Python pour exécuter l'inférence ou si vous utilisez des modèles autres que les chatbots, cela fonctionnera. Assurez-vous simplement de modifier l'indicateur de commande suivant lorsque vous modifiez les systèmes.
