androidremoteGPT

Jonathan Germain的Android Remote GPT版权2023在GNU GPL版本3下发布

介绍

Androidremotegpt是在远程服务器上运行的聊天机器人的Android前端。这是一种Android/Termux Miniapp，它提供了一种方便的方法，可以通过SSH在远程服务器上访问聊天机器人或其他推理引擎。它是针对开源AI模型的用户，例如通过GPT4All提供的模型。

安装

Androidremotegpt需要Android和Termux。它还需要Termux：GUI。由于签署F-Droid Termux：GUI软件包的持续问题，您必须使用GitHub Termux版本而不是F-Droid Termux版本。 Google Play的Termux版本绝不应该使用，因为它们是不安全的，并且不会修补。

该软件是为客户端/服务器模型构建的。它需要进行推理的服务器。截至2023年12月，可以在Linux上运行多种开源模型和架构。将为GPT4ALL提供说明，但前端可以与许多不同的后端一起使用。

在Android设备上安装

1. 如果已从F-Droid或Google Play安装了Termux或Termux：API，请完全删除它们。从非GITHUB源安装的任何Termux应用程序的存在都将阻止GitHub的安装。
2. 从Github下载并安装Termux。该应用程序已使用第118届Termux测试。
3. 下载并安装Termux：GUI来自GitHub。该应用程序已使用Termux：GUI 0.16测试
4. 启动termux，让它进行配置。
5. 在Termux中，运行“ PKG Update”。如果失败，请运行“ Termux-Crange-Repo”，然后重试。
6. 在Termux中，运行“ PKG安装OpenSSH”
7. 在Termux中，运行“ PKG安装Python3”
8. 在Termux中，运行“ PIP install termuxgui”
9. 从将其保存到Termux Home Directory的任何地方复制Androidremotegpt.py
10. 将“ .androidgpt”复制到Termux Home Directory
11. 在termux中，运行“ mkdir .ssh; chmod 700 .ssh”
12. 创建一个SSH键并使用SSH服务器设置基于密钥的身份验证
13. 设置SSH配置文件。例如，.ssh/配置中的文件可能包含

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH进入服务器，以确保其有效并获取主机密钥。

安装完成。现在，您可以运行“ Python Androidremotegpt.py”

gpt4All的SSH服务器设置的示例

1. 作为root，创建​​一个名为Aiuser的新用户。还为此用户创建一个主目录，并确保用户拥有此目录的所有权。

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. 确保安装Python。在ubuntu上，运行“ apt -y安装python3”
3. 进行基于密钥的身份验证设置的服务器部分。
4. 将“*”放在aiuser /etc /shadow条目的密码部分中
5. SU到Aiuser Run“ Su Aiuser”
6. 安装GPT4ALL。我们首先通过PIP安装GPT4All安装任何依赖项，但是PIP中的版本是旧的，因此我们将其删除并编译/安装最新版本。

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. 下载您的模型。模型可以从gpt4all.io下载。
8. 将您的模型链接到GPT4All可以找到的位置。

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. GPT4ALL的控制台界面为〜/gpt4All/gpt4All-Bindings/cli/app.py
10. 创建一个外壳脚本以运行您的模型

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

可选地，如果您有要使用的视频卡，则可以包含“ -t（线程＃）”和“ -D GPU”或“ -D NVIDIA”。

11. 测试外壳脚本
12. 可选：使用〜/.ssh/授权的公共密钥条目使用'命令=

用法

首先，访问配置页面并确保您的服务器信息正确。下一个命令指标（NCI）和启动序列特别重要。启动序列是用于在服务器上运行的shell命令列表，以达到推理接口。 NCI告诉前端聊天机器人何时完成答案。对于GPT4ALL版本1.0.2，NCI是单个字符“⇢”

然后，返回主页，然后单击“连接”。

介绍屏幕应显示。然后，您可以在屏幕顶部的框中输入查询，然后单击请求发送查询。请注意，您必须单击“请求”；单独按输入不会发送查询。

问题

1. 为什么要依靠术语？为什么不使用可用于Android的各种SSH库中的一个，并将其作为独立应用程序？

安全通信很复杂。 Openssh是该领域​​测试最严格的计划之一。我担心，经过严格测试的SSH实现将引入与安全相关的错误，我没有带宽可以管理的。

2. 我可以将其与GPT4All以外的系统一起使用吗？

是的。如果您是从拥抱面中拉动模型并编写自己的Python脚本来运行推理，或者使用聊天机器人以外的模型，则可以使用。只需确保在更改系统时更改下一个命令指示器即可。

计划

1. 漂亮的界面
2. 添加图标，以便可以直接从Android启动Androidremotegpt而不先加载Termux
3. 添加文本到语音
4. 为在Android设备上具有8GB RAM的人添加设备推理选项
5. 允许SSH密码？