androidremoteGPT

Jonathan Germain Copyright2023によるAndroid Remote GPT GNU GPLバージョン3でリリース

導入

AndroidRemoteGPTは、リモートサーバーで実行されているチャットボット用のAndroidフロントエンドです。これは、SSHを介してリモートサーバーで実行されているチャットボットまたはその他の推論エンジンにアクセスするための便利な方法を提供するAndroid/Termux Miniappです。 GPT4Allを介して提供されるようなオープンソース生成AIモデルのユーザーを対象としています。

インストール

AndroidRemoteGPTには、AndroidとTermuxの両方が必要です。また、Termux：GUIが必要です。 F-Droid Termux：GUIパッケージの署名に関する継続的な問題のため、F-Droid TermuxリリースではなくGitHub Termuxリリースを使用する必要があります。 Google PlayのTermuxのバージョンは、不安でなくパッチが適用されないため、使用しないでください。

このソフトウェアは、クライアント/サーバーモデル用に構築されています。推論が行われるサーバーが必要です。 2023年12月の時点で、Linuxで実行できるさまざまなオープンソースモデルとアーキテクチャが利用可能です。 gpt4allの命令は提供されますが、フロントエンドはさまざまなバックエンドで使用できます。

Androidデバイスへのインストール

1. TermuxまたはTermux：APIがF-DroidまたはGoogle Playからインストールされている場合は、完全に削除します。非GithubソースからインストールされたTermuxアプリの存在は、GitHubからのインストールをブロックします。
2. githubからtermuxをダウンロードしてインストールします。このアプリは、Termux 118でテストされました。
3. GithubからTermux：GUIをダウンロードしてインストールします。このアプリは、Termux：GUI 0.16でテストされました
4. Termuxを起動し、自らを設定します。
5. Termuxでは、「PKGアップデート」を実行します。これが失敗した場合は、「Termux-change-repo」を実行して再試行してください。
6. 用語では、「PKGインストールopenssh」を実行します
7. 用語では、「PKGインストールPython3」を実行します
8. Termuxでは、「PIPインストールTermuxGui」を実行します
9. AndroidRemotegpt.pyをタームスホームディレクトリに保存した場所からコピー
10. Termuxホームディレクトリに「.androidgpt」をコピーします
11. 用語では、「mkdir .ssh; chmod 700 .ssh」を実行します。
12. SSHキーを作成し、SSHサーバーでキーベースの認証を設定します
13. SSH構成ファイルを設定します。たとえば、.ssh/configのファイルには含まれている場合があります

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. サーバーにSSHが機能していることを確認し、ホストキーを取得します。

インストールが完了しました。これで、「python androidremotegpt.py」を実行できます

gpt4allのSSHサーバーセットアップの例

1. rootとして、Aiuserという名前の新しいユーザーを作成します。また、このユーザーのホームディレクトリを作成し、ユーザーがこのディレクトリの所有権を持っていることを確認します。

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. Pythonがインストールされていることを確認してください。 ubuntuで、「apt -yインストールpython3」を実行します
3. キーベースの認証セットアップのサーバー部分を実行します。
4. aiuserの /etc /shadowエントリのパスワード部分に「*」を配置します
5. su to aiuser run "su aiuser"
6. gpt4allをインストールします。 PIP経由でGPT4ALLをインストールして依存関係をインストールすることから始めますが、PIPのバージョンは古いため、削除して最新バージョンをコンパイル/インストールします。

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. モデルをダウンロードしてください。モデルはgpt4all.ioからダウンロードできます。
8. モデルをGPT4Allが見つけることができる場所にリンクします。

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. gpt4allのコンソールインターフェイスは〜/gpt4all/gpt4all-bindings/cli/app.pyです
10. モデルを実行するシェルスクリプトを作成します

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

オプションで、使用したいビデオカードがある場合は、「-t（＃of threads）」と「-d gpu」または「-d nvidia」を含めることができます。

11. シェルスクリプトをテストします
12. オプション：「command = "/home/aiuser/your_script.sh"を使用して〜/.ssh/authorized_keysで公開キーエントリをプレイする、AI Incerferenceユーザーアカウントの使用を制限することを制限します

使用法

まず、[構成]ページにアクセスし、サーバー情報が正しいことを確認します。次のコマンドインジケーター（NCI）とスタートアップシーケンスは特に重要です。スタートアップシーケンスは、推論インターフェイスに到達するためにサーバーで実行するシェルコマンドのリストです。 NCIは、チャットボットが答えを終えたときにフロントエンドに伝えます。 gpt4allバージョン1.0.2の場合、NCIは単一の文字「⇢」です

次に、メインページに戻り、[接続]をクリックします。

イントロ画面が表示されます。その後、画面上部のボックスにクエリを入力し、[リクエスト]をクリックしてクエリを送信できます。 「リクエスト」をクリックする必要があることに注意してください。 Enterを単独で押すと、クエリが送信されません。

質問

1. なぜTermuxに依存するのですか？ Androidで利用できるさまざまなSSHライブラリのいずれかを使用して、これをスタンドアロンアプリにしてみませんか？

安全な通信は複雑です。 Opensshは、この分野で最も激しくテストされたプログラムの1つです。あまりテストされていないSSH実装が、管理する帯域幅がないセキュリティ関連のバグを導入することを恐れています。

2. GPT4All以外のシステムでこれを使用できますか？

はい。 Huggingfaceからモデルを引いて、推論を実行するために独自のPythonスクリプトを作成するか、チャットボット以外のモデルを使用する場合、これは機能します。システムを変更するときは、必ず次のコマンドインジケーターを変更してください。

予定

1. インターフェイスをきれいにします
2. AndroidRemoteGPTを最初にロードすることなくAndroidから直接起動できるようにアイコンを追加します
3. テキストを追加します
4. Androidデバイスに8GBのRAMを持っている人にデバイス上の推論オプションを追加する
5. SSHパスワードを許可しますか？