androidremoteGPT

Jonathan Germain的Android Remote GPT版權2023在GNU GPL版本3下發布

介紹

Androidremotegpt是在遠程服務器上運行的聊天機器人的Android前端。這是一種Android/Termux Miniapp，它提供了一種方便的方法，可以通過SSH在遠程服務器上訪問聊天機器人或其他推理引擎。它是針對開源AI模型的用戶，例如通過GPT4All提供的模型。

安裝

Androidremotegpt需要Android和Termux。它還需要Termux：GUI。由於簽署F-Droid Termux：GUI軟件包的持續問題，您必須使用GitHub Termux版本而不是F-Droid Termux版本。 Google Play的Termux版本絕不應該使用，因為它們是不安全的，並且不會修補。

該軟件是為客戶端/服務器模型構建的。它需要進行推理的服務器。截至2023年12月，可以在Linux上運行多種開源模型和架構。將為GPT4ALL提供說明，但前端可以與許多不同的後端一起使用。

在Android設備上安裝

1. 如果已從F-Droid或Google Play安裝了Termux或Termux：API，請完全刪除它們。從非GITHUB源安裝的任何Termux應用程序的存在都將阻止GitHub的安裝。
2. 從Github下載並安裝Termux。該應用程序已使用第118屆Termux測試。
3. 下載並安裝Termux：GUI來自GitHub。該應用程序已使用Termux：GUI 0.16測試
4. 啟動termux，讓它進行配置。
5. 在Termux中，運行“ PKG Update”。如果失敗，請運行“ Termux-Crange-Repo”，然後重試。
6. 在Termux中，運行“ PKG安裝OpenSSH”
7. 在Termux中，運行“ PKG安裝Python3”
8. 在Termux中，運行“ PIP install termuxgui”
9. 從將其保存到Termux Home Directory的任何地方復制Androidremotegpt.py
10. 將“ .androidgpt”複製到Termux Home Directory
11. 在termux中，運行“ mkdir .ssh; chmod 700 .ssh”
12. 創建一個SSH鍵並使用SSH服務器設置基於密鑰的身份驗證
13. 設置SSH配置文件。例如，.ssh/配置中的文件可能包含

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH進入服務器，以確保其有效並獲取主機密鑰。

安裝完成。現在，您可以運行“ Python Androidremotegpt.py”

gpt4All的SSH服務器設置的示例

1. 作為root，創建​​一個名為Aiuser的新用戶。還為此用戶創建一個主目錄，並確保用戶擁有此目錄的所有權。

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. 確保安裝Python。在ubuntu上，運行“ apt -y安裝python3”
3. 進行基於密鑰的身份驗證設置的服務器部分。
4. 將“*”放在aiuser /etc /shadow條目的密碼部分中
5. SU到Aiuser Run“ Su Aiuser”
6. 安裝GPT4ALL。我們首先通過PIP安裝GPT4All安裝任何依賴項，但是PIP中的版本是舊的，因此我們將其刪除並編譯/安裝最新版本。

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. 下載您的模型。模型可以從gpt4all.io下載。
8. 將您的模型鏈接到GPT4All可以找到的位置。

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. GPT4ALL的控制台界面為〜/gpt4All/gpt4All-Bindings/cli/app.py
10. 創建一個外殼腳本以運行您的模型

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

可選地，如果您有要使用的視頻卡，則可以包含“ -t（線程＃）”和“ -D GPU”或“ -D NVIDIA”。

11. 測試外殼腳本
12. 可選：使用〜/.ssh/授權的公共密鑰條目使用'命令=

用法

首先，訪問配置頁面並確保您的服務器信息正確。下一個命令指標（NCI）和啟動序列特別重要。啟動序列是用於在服務器上運行的shell命令列表，以達到推理接口。 NCI告訴前端聊天機器人何時完成答案。對於GPT4ALL版本1.0.2，NCI是單個字符“⇢”

然後，返回主頁，然後單擊“連接”。

介紹屏幕應顯示。然後，您可以在屏幕頂部的框中輸入查詢，然後單擊請求發送查詢。請注意，您必須單擊“請求”；單獨按輸入不會發送查詢。

問題

1. 為什麼要依靠術語？為什麼不使用可用於Android的各種SSH庫中的一個，並將其作為獨立應用程序？

安全通信很複雜。 Openssh是該領域​​測試最嚴格的計劃之一。我擔心，經過嚴格測試的SSH實現將引入與安全相關的錯誤，我沒有帶寬可以管理的。

2. 我可以將其與GPT4All以外的系統一起使用嗎？

是的。如果您是從擁抱面中拉動模型並編寫自己的Python腳本來運行推理，或者使用聊天機器人以外的模型，則可以使用。只需確保在更改系統時更改下一個命令指示器即可。

計劃

1. 漂亮的界面
2. 添加圖標，以便可以直接從Android啟動Androidremotegpt而不先加載Termux
3. 添加文本到語音
4. 為在Android設備上具有8GB RAM的人添加設備推理選項
5. 允許SSH密碼？