androidremoteGPT

Android Remote GPT oleh Jonathan Germain Hak Cipta 2023 Dirilis di bawah GNU GPL Versi 3

Perkenalan

AndroidRemoTEGPT adalah frontend Android untuk chatbots yang berjalan di server jarak jauh. Ini adalah miniafp Android/Termux yang menyediakan cara yang nyaman untuk mengakses chatbot atau mesin inferensi lainnya yang berjalan di server jarak jauh melalui SSH. Ini ditargetkan untuk pengguna model AI generatif open source seperti yang disediakan melalui GPT4ALL.

Instalasi

AndroidRemoTegpt membutuhkan Android dan Termux. Ini juga membutuhkan Termux: GUI. Karena masalah yang sedang berlangsung dengan penandatanganan paket F-Droid Termux: GUI, Anda harus menggunakan rilis Termux GitHub daripada rilis Termux F-Droid. Versi Termux dari Google Play tidak boleh digunakan karena tidak aman dan tidak akan ditambal.

Perangkat lunak ini dibangun untuk model klien/server. Itu membutuhkan server yang terjadi. Pada Desember 2023, ada berbagai model dan arsitektur open source yang dapat dijalankan di Linux. Instruksi akan disediakan untuk GPT4ALL, tetapi frontend dapat digunakan dengan banyak backend yang berbeda.

Instalasi di perangkat Android

1. Jika Termux atau Termux: API telah diinstal dari F-Droid atau Google Play, hapus sepenuhnya. Kehadiran aplikasi Termux yang diinstal dari sumber non-gitub akan memblokir instalasi dari GitHub.
2. Unduh dan instal Termux dari GitHub. Aplikasi ini diuji dengan Termux 118.
3. Unduh dan instal Termux: GUI dari GitHub. Aplikasi ini diuji dengan Termux: GUI 0.16
4. Luncurkan Termux dan biarkan mengkonfigurasi dirinya sendiri.
5. Di Termux, jalankan "Pembaruan PKG". Jika ini gagal, jalankan "Termux-Change-Repo" dan coba lagi.
6. Di Termux, jalankan "PKG Instal OpenSsh"
7. Di Termux, jalankan "PKG Instal Python3"
8. Di Termux, jalankan "Pip Instal TermuxGUI"
9. Salin androidremotegpt.py dari mana pun Anda menyimpannya ke direktori home timux
10. Salin ".Androidgpt" ke direktori home termux
11. Di Termux, jalankan "Mkdir .ssh; Chmod 700 .ssh"
12. Buat tombol SSH dan atur otentikasi berbasis kunci dengan server SSH Anda
13. Atur file konfigurasi ssh. Misalnya, file di .ssh/config mungkin berisi

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH ke server untuk memastikan bahwa itu berfungsi dan mendapatkan kunci host.

Instalasi selesai. Sekarang, Anda dapat menjalankan "Python androidremotegpt.py"

Contoh pengaturan server ssh untuk gpt4all

1. Sebagai root, buat pengguna baru bernama Aiuser. Juga buat direktori home untuk pengguna ini dan pastikan bahwa pengguna memiliki kepemilikan direktori ini.

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. Pastikan ular python diinstal. Di Ubuntu, jalankan "APT -Y Instal Python3"
3. Lakukan bagian server dari pengaturan otentikasi berbasis kunci.
4. Tempatkan "*" di bagian kata sandi dari entri /etc /shadow untuk aiuser
5. su ke aiuser menjalankan "su aiuser"
6. Instal GPT4ALL. Kami mulai dengan menginstal GPT4ALL melalui PIP untuk menginstal segala dependensi, tetapi versi dalam PIP sudah lama, jadi kami menghapusnya dan menyusun/menginstal versi terbaru.

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. Unduh model Anda. Model dapat diunduh dari gpt4all.io.
8. Tautkan model Anda ke tempat GPT4All dapat menemukannya.

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. Antarmuka konsol untuk gpt4all adalah ~/gpt4all/gpt4all-binding/cli/app.py
10. Buat skrip shell untuk menjalankan model Anda

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

Secara opsional, Anda dapat menyertakan "-t (# thread)" dan "-d GPU" atau "-D nvidia" jika Anda memiliki kartu video yang ingin Anda gunakan.

11. Uji skrip shell
12. Opsional: Persiapkan entri kunci publik di ~/.ssh/otorisasi_keys dengan `command ="/home/aiuser/your_script.sh ", membatasi untuk membatasi penggunaan akun pengguna inferensi AI

Penggunaan

Pertama, akses halaman konfigurasi dan pastikan informasi server Anda benar. Indikator perintah berikutnya (NCI) dan urutan startup sangat penting. Urutan startup adalah daftar perintah shell untuk dijalankan di server untuk mencapai antarmuka inferensi. NCI memberi tahu frontend ketika chatbot telah menyelesaikan jawabannya. Untuk GPT4ALL versi 1.0.2, NCI adalah karakter tunggal "⇢"

Kemudian, kembali ke halaman utama dan klik "Hubungkan".

Layar intro akan muncul. Anda kemudian dapat memasukkan kueri di dalam kotak di bagian atas layar dan klik permintaan untuk mengirim kueri. Perhatikan bahwa Anda harus mengklik "permintaan"; Menekan Enter sendiri tidak akan mengirim kueri.

Pertanyaan

1. Mengapa mengandalkan Termux? Mengapa tidak menggunakan salah satu dari berbagai perpustakaan SSH yang tersedia untuk Android dan menjadikan ini aplikasi mandiri?

Komunikasi yang aman itu kompleks. OpenSSH adalah salah satu program yang paling banyak diuji di lapangan; Saya khawatir implementasi SSH yang kurang teruji akan memperkenalkan bug terkait keamanan yang tidak saya miliki bandwidth untuk dikelola.

2. Bisakah saya menggunakan ini dengan sistem selain gpt4all?

Ya. Jika Anda menarik model dari Huggingface dan menulis skrip Python Anda sendiri untuk menjalankan inferensi atau Anda menggunakan model selain chatbots, ini akan berhasil. Pastikan untuk mengubah indikator perintah berikutnya saat Anda mengubah sistem.

Rencana

1. Cukup di antarmuka
2. Tambahkan ikon sehingga AndroidRemoTegpt dapat diluncurkan dari Android secara langsung tanpa pertama memuat Termux
3. Tambahkan teks-ke-speech
4. Tambahkan opsi inferensi di perangkat untuk orang yang memiliki 8GB RAM di perangkat Android mereka
5. Izinkan Kata Sandi SSH?