Download gpt4all_api - gpt4all_api Sumber Code Unduh

gpt4all_api

Kode Sumber AI

1.0.0

Unduh

Server API GPT4ALL dengan Watchdog

oleh Clarktribegames, LLC

GPT4All API Server with Watchdog adalah server HTTP sederhana yang memantau dan memulai kembali aplikasi Python, dalam hal ini server.py, yang berfungsi sebagai antarmuka untuk model yang kompatibel GPT4All.

Fitur

Watchdog terus berjalan dan memulai kembali aplikasi Python.
Watchdog memeriksa status aplikasi dan menangani kontinjensi tertentu.
GPT4All API Interfaces dengan model kompatibel GPT4ALL dengan permintaan API dan mengirimkan tanggapan kembali dari model

Prasyarat

Mesin Windows, MacOS, atau Linux dengan Python 3.8 atau lebih baru.
Akses Administrator Lokal / Sudo pada Sistem Operasi.
Konfigurasi firewall yang sesuai (misalnya port forwarding) Jika menerima permintaan eksternal [tidak disarankan]

Pengaturan

Windows: Klon di lokasi yang pengguna Anda (atau akun layanan jika menggunakan satu) memiliki akses baca/tulis lengkap.

MacOS/Linux: Kami merekomendasikan mengkloning repositori ini ke /usr/local/bin jika Anda berencana untuk menggunakan ini sebagai layanan. Namun, Anda dapat mengkloning dan menjalankannya dari mana saja. Jalankan perintah ini di terminal Anda:

 cd /path-to-wherever/
git clone https://github.com/AznIronMan/gpt4all_api.git

Kami juga merekomendasikan menjalankan ini dalam lingkungan Python virtual:

Catatan: Anda juga dapat menggunakan Anaconda. Tidak disarankan untuk tidak menggunakan lingkungan Python virtual.

 # Windows
cd gpt4all_api
python.exe -m venv .venv
source .venv/Scripts/activate

 # macOS/Linux
cd gpt4all_api
python3 -m venv .venv
source .venv/bin/activate

Pastikan untuk menginstal persyaratan PIP (konfirmasi Anda berada di venv .venv baru Anda sebelum melakukannya!)

pip install -r requirements.txt

Pastikan untuk mengkonfigurasi file .env sebelum memulai! (Kloning .env.example dan ganti namanya .env dan unggah dengan informasi yang sesuai).

Model GGML direkomendasikan untuk aplikasi ini. Model GGML di Wajah Memeluk

Catatan: Aplikasi ini hanya diuji dengan model WizardML GGML (non-Falcon).

Dari sana, untuk menjalankan server, Anda bisa:

 # Windows
python.exe watchdog.py

 # mac/OS/Linux
sudo python3 watchdog.py

Atau Anda dapat menggunakan start.bat bundled.bat (windows) atau start.sh (macOS/linux) yang disertakan untuk memulai server.

Pengguna MacOS/Linux - Anda mungkin perlu menjalankan perintah ini sebelumnya untuk mengizinkan start.sh menjalankan OS Anda:

sudo chmod +x ./start.sh

Penggunaan

Penjaga

Bagian watchdog dari aplikasi ini berjalan di mesin Anda dan memantau aplikasi gpt4all_api . Ini memeriksa keberadaan file watchdog yang berfungsi sebagai sinyal untuk menunjukkan kapan server gpt4all_api telah menyelesaikan pemrosesan permintaan.

Setelah setiap permintaan selesai, server gpt4all_api dimulai ulang. Ini dilakukan untuk mengatur ulang status server gpt4all_api dan memastikan bahwa ia siap untuk menangani permintaan masuk berikutnya. ;

watchdog memeriksa apakah file watchdog hilang selama lebih dari 5 detik. Server gpt4all_api akan menghapus file watchdog setelah selesai, memicu restart. Jika file watchdog tidak ada, gpt4all_api menanggapi permintaan dan/atau jika ada kesalahan selama proses gpt4all_api , skrip watchdog mengasumsikan bahwa ada sesuatu yang salah dan mencoba untuk memulai kembali server gpt4all_api setelah masuk ke dalam kesalahan ke folder logs .

Gpt4all_api

Server gpt4all_api menggunakan Flask untuk menerima permintaan API yang masuk. route default adalah /gpt4all_api tetapi Anda dapat mengaturnya, bersama dengan hampir semua hal lain, di .env . Anda dapat mengirim permintaan posting dengan jenis parameter kueri untuk mengambil pesan yang diinginkan. Berikut adalah beberapa contoh cara mengambil semua pesan:

 # Using curl:
curl -X POST http://serverhostname_or_ipaddress_here:5000/gpt4all_api -H " Content-Type: application/json " -d " { " prompt " : " your question or request goes here " , " persona " : " [your system prompt goes here] " } "

 # Using Postman:

Set the request type to POST.
Set the URL to http://serverhostname_or_ipaddress_here:5000/messages.
Under Params, add a key-value pair with
    key: ' prompt '
    value: ' your question or request goes here '
And
    key: ' persona '
    value: ' [your system prompt goes here] '

Pengaturan terperinci

Jika Anda memiliki masalah dengan pengaturan, Anda dapat mengikuti langkah -langkah ini:

 # macOS/Linux
cp .env.example .env
nano .env # or use TextEdit, VIM, VS Code, etc.
touch requirements.txt
nano requirements.txt

 # Windows
copy .env.example .env
notepad .env # notepad is on everyone windows machine but vscode or notepad++ is recommended

(make edits to your .env)

# if you do not have a requirements.txt for some reason
notepad requirements.txt

Tempel konten ini ke dalam file requirements.txt Anda:

 blinker= =1.6.2
certifi= =2023.5.7
charset-normalizer= =3.1.0
click= =8.1.3
colorama= =0.4.6
Flask= =2.3.2
gpt4all= =0.3.5
idna= =3.4
itsdangerous= =2.1.2
Jinja2= =3.1.2
MarkupSafe= =2.1.3
python-dotenv= =1.0.0
requests= =2.31.0
tqdm= =4.65.0
urllib3= =2.0.3
Werkzeug= =2.3.6