androidremoteGPT

Jonathan Germain Copyright 2023의 Android Remote Gpt Gnu GPL 버전 3에 따라 출시되었습니다.

소개

AndroidRemoteGpt는 원격 서버에서 실행되는 챗봇을위한 Android 프론트 엔드입니다. SSH를 통해 원격 서버에서 실행되는 챗봇 또는 기타 추론 엔진에 액세스 할 수있는 편리한 방법을 제공하는 Android/Termux MiniaPP입니다. GPT4ALL을 통해 제공되는 오픈 소스 생성 AI 모델 사용자를 대상으로합니다.

설치

AndroidRemoteGpt에는 Android 및 Termux가 모두 필요합니다. 또한 termux : gui가 필요합니다. F-Droid termux : GUI 패키지의 서명에 대한 지속적인 문제로 인해 F-Droid Termux 릴리스 대신 Github Termux 릴리스를 사용해야합니다. Google Play의 Termux 버전은 불안하고 패치되지 않기 때문에 절대로 사용해서는 안됩니다.

이 소프트웨어는 클라이언트/서버 모델을 위해 구축되었습니다. 추론이 발생하는 서버가 필요합니다. 2023 년 12 월 현재 Linux에서 실행할 수있는 다양한 오픈 소스 모델 및 아키텍처가 있습니다. GPT4ALL에 대한 지침이 제공되지만 프론트 엔드는 다양한 백엔드와 함께 사용할 수 있습니다.

안드로이드 장치에 설치

1. Termux 또는 Termux : API가 F-Droid 또는 Google Play에서 API를 설치 한 경우 완전히 제거하십시오. 비 GitHub 소스에서 설치된 모든 용어 앱이 있으면 GitHub에서 설치를 차단합니다.
2. github에서 termux를 다운로드하여 설치하십시오. 이 앱은 Termux 118로 테스트되었습니다.
3. Github에서 termux : GUI를 다운로드하여 설치하십시오. 이 앱은 Termux : GUI 0.16으로 테스트되었습니다
4. termux를 시작하고 자체적으로 구성하십시오.
5. Termux에서 "PKG 업데이트"를 실행하십시오. 이것이 실패하면 "Termux-Change-Repo"를 실행하고 다시 시도하십시오.
6. Termux에서 "pkg install openssh"를 실행하십시오.
7. Termux에서 "PKG 설치 Python3"을 실행하십시오.
8. Termux에서 "Pip Install TermuxGui"를 실행합니다.
9. AndroidRemotegpt.py를 Whendux Home 디렉토리에 저장 한 곳에서 복사하십시오.
10. ".AndroidGpt"를 용어 홈 디렉토리로 복사하십시오
11. Termux에서 "mkdir .ssh; chmod 700 .ssh"를 실행하십시오.
12. SSH 키를 생성하고 SSH 서버로 키 기반 인증을 설정하십시오.
13. SSH 구성 파일을 설정하십시오. 예를 들어 .ssh/config의 파일에 포함될 수 있습니다

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH가 서버로 들어가서 작동하는지 확인하고 호스트 키를 얻습니다.

설치가 완료되었습니다. 이제 "Python AndroidRemotegpt.py"를 실행할 수 있습니다.

GPT4ALL에 대한 SSH 서버 설정의 예

1. 루트로 Aiuser라는 새 사용자를 만듭니다. 또한이 사용자를위한 홈 디렉토리를 작성하고 사용자 가이 디렉토리의 소유권을 갖도록하십시오.

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. 파이썬이 설치되었는지 확인하십시오. 우분투에서 "apt -y install python3"를 실행하십시오.
3. 키 기반 인증 설정의 서버 부분을 수행하십시오.
4. Aiuser의 /etc /섀도우 항목의 비밀번호 부분에 "*"를 배치
5. Su to Aiuser Run "Su Aiuser"
6. GPT4ALL을 설치하십시오. PIP를 통해 GPT4ALL을 설치하여 종속성을 설치하는 것으로 시작하지만 PIP의 버전은 이전이므로 제거하고 최신 버전을 컴파일/설치합니다.

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. 모델을 다운로드하십시오. 모델은 gpt4all.io에서 다운로드 할 수 있습니다.
8. 모델을 찾을 수있는 곳에 모델을 연결하십시오.

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. gpt4all의 콘솔 인터페이스는 ~/gpt4all/gpt4all-bindings/cli/app.py입니다
10. 모델을 실행하려면 쉘 스크립트를 만듭니다

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

선택적으로 사용하려는 비디오 카드가있는 경우 "-t (# of streads)"및 "-d gpu"또는 "-d nvidia"가 포함될 수 있습니다.

11. 쉘 스크립트를 테스트하십시오
12. 선택 사항 :`command = "/home/aiuser/your_script.sh"를 사용하여 ~/.ssh/alopporized_keys의 공개 키 항목을 선발합니다. AI 추론 사용자 계정의 사용 제한으로 제한

용법

먼저 구성 페이지에 액세스하고 서버 정보가 올바른지 확인하십시오. 다음 명령 표시기 (NCI) 및 시작 시퀀스가 ​​특히 중요합니다. 시작 시퀀스는 추론 인터페이스에 도달하기 위해 서버에서 실행할 쉘 명령 목록입니다. NCI는 챗봇이 답변을 마쳤을 때 프론트 엔드를 알려줍니다. GPT4ALL 버전 1.0.2의 경우 NCI는 단일 문자 "⇢"입니다.

그런 다음 메인 페이지로 돌아가서 "연결"을 클릭하십시오.

인트로 화면이 나타나야합니다. 그런 다음 화면 상단의 상자에 쿼리를 입력하고 요청을 클릭하여 쿼리를 보내십시오. "요청"을 클릭해야합니다. Enter를 누르면 쿼리가 전송되지 않습니다.

질문

1. Termux에 의존하는 이유는 무엇입니까? Android에서 사용할 수있는 다양한 SSH 라이브러리 중 하나를 사용하여 독립형 앱으로 만드십시오.

안전한 의사 소통은 복잡합니다. OpenSsh는 현장에서 가장 많이 테스트 된 프로그램 중 하나입니다. 테스트 된 SSH 구현이 덜 심각하게 관리 할 보안 관련 버그를 도입 할까 걱정됩니다.

2. gpt4all 이외의 시스템에서 이것을 사용할 수 있습니까?

예. 모델을 껴안고 자신의 파이썬 스크립트를 작성하여 추론을 실행하거나 챗봇 이외의 모델을 사용하는 경우 작동하는 경우 작동합니다. 시스템을 변경할 때 다음 명령 표시기를 변경하십시오.

계획

1. 인터페이스를 예쁘게합니다
2. AndroideRemoteGpt를 먼저로드하지 않고 Android에서 직접 시작할 수 있도록 아이콘을 추가하십시오.
3. 텍스트 음성을 추가하십시오
4. 안드로이드 기기에 8GB의 RAM이있는 사람들을위한 기기 추론 옵션 추가
5. SSH 비밀번호를 허용 하시겠습니까?