androidremoteGPT
1.0.0
Android Remote GPT von Jonathan Germain Copyright 2023 veröffentlicht unter der GNU GPL Version 3
Androidremotegpt ist ein Android -Frontend für Chatbots, die auf Remote -Servern ausgeführt werden. Es handelt sich um eine Android/Termux -Miniapp, die eine bequeme Möglichkeit bietet, auf einen Chatbot oder eine andere Inferenz -Engine zuzugreifen, die über SSH auf einem Remote -Server ausgeführt wird. Es richtet sich an Benutzer von Open -Source -generativen KI -Modellen, wie sie über GPT4all bereitgestellt werden.
AndroidremoteGPT benötigt sowohl Android als auch Termux. Es erfordert auch Terux: GUI. Aufgrund eines fortlaufenden Problems bei der Unterzeichnung des F-Droid Terux: GUI-Pakets müssen Sie die GitHub Terux-Release anstelle der F-DeRid Termux-Release verwenden. Versionen von Termux von Google Play sollten niemals verwendet werden, da sie unsicher sind und nicht gepatcht werden.
Diese Software ist für ein Client/Server -Modell erstellt. Es erfordert einen Server, auf dem Inferenz stattfindet. Ab Dezember 2023 gibt es eine Vielzahl von Open -Source -Modellen und Architekturen, die unter Linux ausgeführt werden können. Für GPT4all werden Anweisungen vorgesehen, aber der Frontend kann mit vielen verschiedenen Backends verwendet werden.
host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id
Die Installation ist abgeschlossen. Jetzt können Sie "Python androidremotegpt.py" ausführen.
useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser
pip install gpt4all
pip uninstall gpt4all
pip install typer
git clone --recurse-submodules https://github.com/nomic-ai/gpt4all
cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .
mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .
#!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf
Optional können Sie "-t (# der Threads)" und "-d gpu" oder "-d nvidia" einschließen, wenn Sie eine Grafikkarte haben, die Sie verwenden möchten.
Greifen Sie zunächst auf die Konfigurationsseite zu und stellen Sie sicher, dass Ihre Serverinformationen korrekt sind. Die nächste Befehlsanzeige (NCI) und die Startsequenz sind besonders wichtig. Die Startsequenz ist eine Liste der Shell -Befehle, die auf dem Server ausgeführt werden sollen, um die Inferenzschnittstelle zu erreichen. Der NCI erzählt das Frontend, wenn der Chatbot seine Antwort beendet hat. Für GPT4ALL Version 1.0.2 ist der NCI das einzelne Zeichen "⇢"
Gehen Sie dann zurück zur Hauptseite und klicken Sie auf "Connect".
Der Intro -Bildschirm sollte erscheinen. Sie können dann Ihre Abfrage in das Feld oben auf dem Bildschirm eingeben und auf Anfrage klicken, um die Abfrage zu senden. Beachten Sie, dass Sie auf "Anfrage" klicken müssen. Wenn Sie die Eingabetaste alleine drücken, wird die Abfrage nicht gesendet.
Sichere Kommunikation ist komplex. OpenSSH ist eines der am stärksten getesteten Programme im Bereich; Ich befürchte, dass eine weniger stark getestete SSH-Implementierung sicherheitsrelevante Fehler einführen wird, die ich nicht mit der Bandbreite verwaltet habe.
Ja. Wenn Sie Modelle von Suggingface und Ihre eigenen Python -Skripte schreiben, um Inferenz auszuführen, oder Sie andere Modelle als Chatbots verwenden, funktioniert dies. Ändern Sie einfach die nächste Befehlsanzeige, wenn Sie Systeme ändern.
