androidremoteGPT

Android Remote GPT por Jonathan Germain Copyright 2023 lançado sob a versão 3 da GNU GPL

Introdução

AndroidRemoteGPT é um front -end Android para chatbots em execução em servidores remotos. É um miniapp Android/Termux que fornece uma maneira conveniente de acessar um chatbot ou outro mecanismo de inferência em um servidor remoto via SSH. Ele é direcionado para usuários de modelos de IA generativos de código aberto, como os fornecidos via GPT4all.

Instalação

AndroidRemoteGPT requer Android e Termux. Também requer Termux: GUI. Devido a um problema contínuo com a assinatura do pacote F-Droid Termux: GUI, você deve usar a versão do GitHub Termux em vez da versão F-DROID Termux. As versões do Termux do Google Play nunca devem ser usadas, pois são inseguras e não serão corrigidas.

Este software é criado para um modelo de cliente/servidor. Requer um servidor no qual a inferência ocorre. Em dezembro de 2023, há uma variedade de modelos e arquiteturas de código aberto disponíveis que podem ser executados no Linux. As instruções serão fornecidas para o GPT4all, mas o front -end pode ser usado com muitos back -ends diferentes.

Instalação no dispositivo Android

1. Se Termux ou Termux: a API tiver sido instalada no F-Droid ou no Google Play, remova-os completamente. A presença de qualquer aplicativo Termux instalado a partir de uma fonte não-GitHub bloqueará a instalação do GitHub.
2. Faça o download e instale o Termux no GitHub. Este aplicativo foi testado com o Termux 118.
3. Faça o download e instale o Termux: GUI no Github. Este aplicativo foi testado com o Termux: GUI 0.16
4. Inicie o Termux e deixe se configurar.
5. No Termux, execute "pkg update". Se isso falhar, execute "Termux-change-repo" e tente novamente.
6. No Termux, execute "pkg install OpenSsh"
7. No Termux, execute "pkg install python3"
8. No Termux, execute "Pip Install Termuxgui"
9. Copie AndroidRemotegpt.py de onde você o salvou no diretório inicial do Termux
10. Cópia ".androidgpt" para o diretório inicial do Termux
11. No Termux, execute "mkdir .ssh; chmod 700 .ssh"
12. Crie uma chave SSH e configure a autenticação baseada em chaves com seu servidor SSH
13. Configure o arquivo de configuração SSH. Por exemplo, o arquivo em .ssh/config pode conter

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH no servidor para garantir que ele funcione e obtenha a chave do host.

A instalação está completa. Agora, você pode executar "Python AndroidRemotegpt.py"

Exemplo de configuração do servidor SSH para GPT4all

1. Como root, crie um novo usuário chamado AIUSER. Crie também um diretório doméstico para esse usuário e verifique se o usuário possui a propriedade deste diretório.

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. Verifique se o Python está instalado. No Ubuntu, execute "Apt -y Install Python3"
3. Faça a parte do servidor da configuração de autenticação baseada em chaves.
4. Coloque "*" na parte de senha da entrada /etc /sombra para aiuser
5. Su para Aiuser Run "Su Aiuser"
6. Instale Gpt4all. Começamos instalando o GPT4all via PIP para instalar qualquer dependência, mas a versão no PIP é antiga, por isso removemos e compilamos/instalamos a versão mais recente.

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. Baixe seus modelos. Os modelos podem ser baixados do gpt4all.io.
8. Ligue seus modelos a onde o GPT4all pode encontrá -los.

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. A interface do console para GPT4all é ~/gpt4all/gpt4all-bindings/cli/app.py
10. Crie um script de shell para executar seu modelo

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

Opcionalmente, você pode incluir "-t (# of threads)" e "-d gpu" ou "-d nvidia" se você tiver uma placa de vídeo que deseja usar.

11. Teste o script de shell
12. Opcional: Prenda a entrada de chave pública em ~/.ssh/autorized_keys com `command ="/home/aiuser/your_script.sh ", restrinja o uso da conta de usuário da IA ​​Inferência

Uso

Primeiro, acesse a página de configuração e verifique se as informações do seu servidor estão corretas. O próximo indicador de comando (NCI) e a sequência de inicialização são particularmente importantes. A sequência de inicialização é uma lista de comandos do shell para executar no servidor para alcançar a interface de inferência. O NCI diz ao front -end quando o chatbot terminou sua resposta. Para GPT4all versão 1.0.2, o NCI é o único caractere "⇢"

Em seguida, volte para a página principal e clique em "Conectar".

A tela de introdução deve aparecer. Em seguida, você pode inserir sua consulta na caixa na parte superior da tela e clicar em Solicitação para enviar a consulta. Observe que você deve clicar em "Solicitação"; Pressionar Enter sozinho não enviará a consulta.

Questões

1. Por que confiar no Termux? Por que não usar uma das várias bibliotecas SSH disponíveis para o Android e fazer deste um aplicativo independente?

A comunicação segura é complexa. OpenSsh é um dos programas mais testados no campo; Receio que qualquer implementação SSH menos testada interanda os bugs relacionados à segurança que não tenho a largura de banda para gerenciar.

2. Posso usar isso com outros sistemas que não o GPT4all?

Sim. Se você estiver puxando modelos de Huggingface e escrevendo seus próprios scripts Python para executar a inferência ou você usa modelos que não sejam chatbots, isso funcionará. Certifique -se de alterar o próximo indicador de comando quando você alterar os sistemas.

Planos

1. Pretty Up the Interface
2. Adicione um ícone para que o AndroidRemoteGPT possa ser lançado diretamente do Android sem o primeiro carregamento do Termux
3. Adicione o texto em fala
4. Adicione uma opção de inferência no dispositivo para pessoas que têm 8 GB de RAM em seus dispositivos Android
5. Permitir senhas SSH?