androidremoteGPT

Android Remote GPT โดย Jonathan Germain ลิขสิทธิ์ 2023 เปิดตัวภายใต้ GNU GPL เวอร์ชัน 3

การแนะนำ

AndroidRemoteGpt เป็นส่วนหนึ่งของ Android สำหรับ chatbots ที่ทำงานบนเซิร์ฟเวอร์ระยะไกล มันเป็น miniapp Android/termux ที่ให้วิธีที่สะดวกในการเข้าถึง chatbot หรือเอ็นจินการอนุมานอื่น ๆ ที่ทำงานบนเซิร์ฟเวอร์ระยะไกลผ่าน SSH มีการกำหนดเป้าหมายไปยังผู้ใช้โมเดล AI โอเพนซอร์สแบบเปิดกว้างเช่นที่ให้ผ่านทาง GPT4ALL

การติดตั้ง

AndroidRemoteGpt ต้องการทั้ง Android และ Termux นอกจากนี้ยังต้องใช้คำว่า: GUI เนื่องจากปัญหาอย่างต่อเนื่องเกี่ยวกับการลงนามในแพ็คเกจ F-DROID: GUI คุณต้องใช้ GitHub Termux release มากกว่าการเปิดตัว F-DROID ไม่ควรใช้คำศัพท์จาก Google Play เนื่องจากไม่ปลอดภัยและจะไม่ได้รับการแก้ไข

ซอฟต์แวร์นี้สร้างขึ้นสำหรับรุ่นไคลเอนต์/เซิร์ฟเวอร์ ต้องใช้เซิร์ฟเวอร์ที่การอนุมานเกิดขึ้น ณ เดือนธันวาคม 2566 มีรุ่นโอเพนซอร์สและสถาปัตยกรรมที่หลากหลายที่สามารถทำงานบน Linux ได้ คำแนะนำจะมีให้สำหรับ GPT4ALL แต่ส่วนหน้าสามารถใช้กับแบ็กเอนด์ที่แตกต่างกันมากมาย

การติดตั้งบนอุปกรณ์ Android

1. หาก TERMUX หรือ TERMUX: API ได้รับการติดตั้งจาก F-DROID หรือ Google Play ให้ลบออกอย่างสมบูรณ์ การปรากฏตัวของแอพ Termux ใด ๆ ที่ติดตั้งจากแหล่งที่ไม่ใช่ github จะบล็อกการติดตั้งจาก GitHub
2. ดาวน์โหลดและติดตั้ง Termux จาก GitHub แอพนี้ได้รับการทดสอบด้วย TERMUX 118
3. ดาวน์โหลดและติดตั้ง Termux: GUI จาก GitHub แอพนี้ได้รับการทดสอบด้วย Termux: GUI 0.16
4. เรียกใช้ Termux และปล่อยให้มันกำหนดค่าตัวเอง
5. ใน Termux ให้เรียกใช้ "การอัปเดต PKG" หากสิ่งนี้ล้มเหลวให้เรียกใช้ "Termux-change-Repo" และลองอีกครั้ง
6. ใน Termux ให้เรียกใช้ "PKG Install OpenSsh"
7. ใน Termux ให้เรียกใช้ "PKG ติดตั้ง Python3"
8. ใน Termux ให้เรียกใช้ "PIP ติดตั้ง termuxgui"
9. คัดลอก AndroidRemoteGpt.py จากทุกที่ที่คุณบันทึกไว้ใน Termux Home Directory
10. คัดลอก ".androidGpt" ไปยัง Termux Home Directory
11. ใน Termux ให้เรียกใช้ "mkdir .ssh; chmod 700 .ssh"
12. สร้างคีย์ SSH และตั้งค่าการรับรองความถูกต้องตามคีย์ด้วยเซิร์ฟเวอร์ SSH ของคุณ
13. ตั้งค่าไฟล์กำหนดค่า SSH ตัวอย่างเช่นไฟล์ใน. ssh/config อาจมี

 host yourserver
user aiuser
hostname yourserver.com
identityfile ~/.ssh/id

14. SSH ลงในเซิร์ฟเวอร์เพื่อให้แน่ใจว่ามันใช้งานได้และรับคีย์โฮสต์

การติดตั้งเสร็จสมบูรณ์ ตอนนี้คุณสามารถเรียกใช้ "Python AndroidRemoteGpt.py"

ตัวอย่างการตั้งค่าเซิร์ฟเวอร์ SSH สำหรับ GPT4ALL

1. ในฐานะรูทสร้างผู้ใช้ใหม่ชื่อ Aiuser นอกจากนี้ยังสร้างไดเรกทอรีที่บ้านสำหรับผู้ใช้รายนี้และตรวจสอบให้แน่ใจว่าผู้ใช้มีกรรมสิทธิ์ในไดเรกทอรีนี้

 useradd aiuser
mkdir /home/aiuser
chown aiuser.aiuser /home/aiuser

2. ตรวจสอบให้แน่ใจว่ามีการติดตั้ง Python บน Ubuntu เรียกใช้ "apt -y ติดตั้ง python3"
3. ทำส่วนเซิร์ฟเวอร์ของการตั้งค่าการรับรองความถูกต้องตามคีย์
4. วาง "*" ในส่วนรหัสผ่านของรายการ /etc /shadow สำหรับ aiuser
5. su to aiuser run "su aiuser"
6. ติดตั้ง GPT4ALL เราเริ่มต้นด้วยการติดตั้ง GPT4ALL ผ่าน PIP เพื่อติดตั้งการอ้างอิงใด ๆ แต่เวอร์ชันใน PIP นั้นเก่าดังนั้นเราจึงลบและรวบรวม/ติดตั้งเวอร์ชันล่าสุด

 pip install gpt4all
pip uninstall gpt4all
pip install typer

git clone --recurse-submodules https://github.com/nomic-ai/gpt4all

cd gpt4all/gpt4all-backend/
mkdir build
cd build
cmake ..
cmake --build . --config Release
cd ~/gpt4all/gpt4all-bindings/python/
pip install -e .

7. ดาวน์โหลดโมเดลของคุณ สามารถดาวน์โหลดโมเดลได้จาก gpt4all.io
8. เชื่อมโยงโมเดลของคุณกับที่ GPT4ALL สามารถค้นหาได้

 mkdir ~/.cache
mkdir ~/.cache/gpt4all
cd ~/.cache/gpt4all
ln -s /where/you/store/your/models/* .

9. อินเทอร์เฟซคอนโซลสำหรับ gpt4all คือ ~/gpt4all/gpt4all-bindings/cli/app.py
10. สร้างเชลล์สคริปต์เพื่อเรียกใช้โมเดลของคุณ

 #!/bin/sh
python3 ~/gpt4all/gpt4all-bindings/cli/app.py repl --model /wherever/you/put/your/model.gguf

คุณอาจรวมถึง "-t (# ของเธรด)" และ "-d GPU" หรือ "-d Nvidia" หากคุณมีการ์ดวิดีโอที่คุณต้องการใช้

11. ทดสอบเชลล์สคริปต์
12. ตัวเลือก: เตรียมรายการคีย์สาธารณะใน ~/.ssh/Authorized_keys ด้วย `command ="/home/aiuser/your_script.sh "จำกัด เพื่อ จำกัด การใช้บัญชีผู้ใช้ AI การอนุมาน AI

การใช้งาน

ขั้นแรกให้เข้าถึงหน้าการกำหนดค่าและตรวจสอบให้แน่ใจว่าข้อมูลเซิร์ฟเวอร์ของคุณถูกต้อง ตัวบ่งชี้คำสั่งถัดไป (NCI) และลำดับการเริ่มต้นมีความสำคัญอย่างยิ่ง ลำดับการเริ่มต้นคือรายการคำสั่งเชลล์ที่จะเรียกใช้บนเซิร์ฟเวอร์เพื่อไปถึงอินเตอร์เฟสการอนุมาน NCI บอกส่วนหน้าเมื่อ chatbot เสร็จสิ้นคำตอบ สำหรับ GPT4ALL เวอร์ชัน 1.0.2 NCI เป็นอักขระตัวเดียว "⇢"

จากนั้นกลับไปที่หน้าหลักแล้วคลิก "เชื่อมต่อ"

หน้าจออินโทรควรปรากฏขึ้น จากนั้นคุณสามารถป้อนแบบสอบถามของคุณในกล่องที่ด้านบนของหน้าจอและคลิกคำขอเพื่อส่งแบบสอบถาม โปรดทราบว่าคุณต้องคลิก "คำขอ"; การกด Enter Alone จะไม่ส่งแบบสอบถาม

คำถาม

1. ทำไมต้องพึ่งพา Termux? ทำไมไม่ใช้หนึ่งในห้องสมุด SSH ต่างๆที่มีให้สำหรับ Android และทำให้แอพแบบสแตนด์อโลนนี้

การสื่อสารที่ปลอดภัยนั้นซับซ้อน Openssh เป็นหนึ่งในโปรแกรมที่ผ่านการทดสอบมากที่สุดในสนาม ฉันกลัวว่าการใช้งาน SSH ที่ผ่านการทดสอบอย่างหนักจะแนะนำข้อบกพร่องที่เกี่ยวข้องกับความปลอดภัยซึ่งฉันไม่มีแบนด์วิดท์ในการจัดการ

2. ฉันสามารถใช้สิ่งนี้กับระบบอื่นที่ไม่ใช่ gpt4all ได้หรือไม่?

ใช่. หากคุณกำลังดึงโมเดลจาก HuggingFace และเขียนสคริปต์ Python ของคุณเองเพื่อเรียกใช้การอนุมานหรือคุณใช้รุ่นอื่นที่ไม่ใช่ chatbots สิ่งนี้จะใช้งานได้ เพียงให้แน่ใจว่าได้เปลี่ยนตัวบ่งชี้คำสั่งถัดไปเมื่อคุณเปลี่ยนระบบ

แผน

1. สวยขึ้นอินเทอร์เฟซ
2. เพิ่มไอคอนเพื่อให้สามารถเปิดตัว AndroidRemoteGpt ได้จาก Android โดยตรงโดยไม่ต้องโหลดคำสั่งแรก
3. เพิ่มข้อความเป็นคำพูด
4. เพิ่มตัวเลือกการอนุมานบนอุปกรณ์สำหรับผู้ที่มี RAM 8GB บนอุปกรณ์ Android ของพวกเขา
5. อนุญาตรหัสผ่าน SSH?