GPTGateway

GTTEWAY GPT

Layanan web yang tenang dibuat untuk menyediakan API sederhana untuk menghasilkan teks menggunakan berbagai model GPT berdasarkan berbagai penyedia. Apakah Anda ingin mengintegrasikan penyelesaian obrolan ke dalam aplikasi Anda atau mengeksplorasi kemampuan model GPT yang berbeda, proyek ini telah Anda liput. Bergantung pada Xtekky/Gpt4 -Free.

Penggunaan demo

Contoh aplikasi untuk menampilkan demo bagaimana API ini dapat digunakan. Aplikasi di bawah ini mengubah video YouTube menjadi blog Markdown yang dapat diedit.

demo.mp4

Pengaturan Proyek

 # Clone the repository
git clone https://github.com/nagarajpandith/GPTGateway.git

# Navigate to the project directory
cd GPTGateway

# Create a virtual environment
python3 -m venv venv

# Activate the virtual environment
source venv/bin/activate

# Install the required packages
pip3 install -r requirements.txt

Buat file .env dan isi API_Key var.

python3 app.py

Penggunaan lokal

1. Menggunakan curl

curl -X POST -H " Content-Type: application/json " -d ' {"content": "YOUR_PROMPT", "api_key":"API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false} ' http://127.0.0.1:5000/chat_completion

2. Menggunakan platform pengujian API apa pun seperti tukang pos, klien guntur, dll.

• Titik akhir: http://127.0.0.1:5000/chat_completion
• Contoh Tubuh:

{
  "content" : " YOUR_PROMPT " ,
  "api_key" : " API_KEY_HERE " ,
  "provider" : " PROVIDER_NAME " ,
  "stream" : false
}

Catatan

Anda dapat menjadi tuan rumah API ini sendiri tetapi jika Anda ingin menggunakan API yang sudah di -host, itu langsung di https://gptgateway.onrender.com.

Titik akhir yang tersedia

Titik akhir	Keterangan	Metode	Contoh tubuh
/chat_completion	Menghasilkan teks menggunakan model berdasarkan penyedia	POS	{"content": "YOUR_PROMPT", "api_key": "API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false}
/working_providers	Mengambil daftar penyedia yang berfungsi	MENDAPATKAN	{}

Tip

Parameter penyedia dan aliran adalah opsional. Jika tidak disediakan, penyedia default diatur ke "Bing" dan aliran default diatur ke True. Jika aliran diatur ke false, respons akan berada dalam format output akhir langsung.

Hasil pengujian penyedia

Terakhir diuji pada 9-12-2023 menggunakan "stream" = false

Catatan

Untuk mengetahui penyedia dan model mereka merujuk ini.

Nilai status

• Keduanya: Penyedia bekerja dengan sukses di API lokal dan yang di -host.
• Lokal: Penyedia bekerja dengan sukses hanya di API lokal.
• Hosted: Penyedia bekerja dengan sukses hanya pada API yang di -host.
• Tidak ada: Penyedia tidak mengembalikan tanggapan yang berhasil pada API lokal atau yang di -host.

Pengujian otomatis

Penting

Jika penyedia tidak berfungsi, itu mungkin karena membutuhkan arg khusus seperti auth = 'cookie' atau 'jwt' atau webdriver gagal terhubung, karena pengikisan web diperlukan untuk sebagian besar penyedia di sini atau pemblokiran alamat IP dll. Oleh karena itu, jangan mempertimbangkan hasil di bawah ini sebagai sumber akhir kebenaran. Untuk mengujinya sendiri, jalankan skrip python3 test.py

Penyedia	Lokal/host/keduanya	Waktu respons rata -rata
Aitianhuspace	Tidak ada	0.0000
AICHATONLINE	Keduanya	1.7414
Penyair	Tidak ada	0.0000
Bing	Keduanya	7.5283
Chatbase	Keduanya	11.0944
Chatforai	Tidak ada	0.0000
Chatgpt4Online	Tidak ada	0.0000
Chatgptai	Keduanya	4.0048
ChatgptNext	Keduanya	1.1684
Deepinfra	Keduanya	2.9104
Palsu	Tidak ada	0.0000
Gptalk	Tidak ada	0.0000
Geekgpt	Diselenggarakan	2.6676
GptChatly	Tidak ada	0.0000
Gptforlove	Tidak ada	0.0000
GPTGO	Lokal	1.0809
Gpttalkru	Keduanya	1.3263
Hashnode	Keduanya	14.0748
Huggingchat	Tidak ada	0.0000
Koala	Lokal	2.3503
Liaobots	Tidak ada	0.0000
Llama2	Tidak ada	0.0000
Myshell	Lokal	9.0187
Onlinegpt	Keduanya	2.3497
OpenaiChat	Tidak ada	0.0000
Perplexityai	Lokal	10.8567
Phind	Keduanya	0.4872
Pi	Lokal	8.9026
Poe	Tidak ada	0.0000
Raycast	Tidak ada	0.0000
RetryProvider	Tidak ada	0.0000
Talkai	Lokal	13.3812
Theb	Tidak ada	0.0000
Thebapi	Tidak ada	0.0000
Anda	Lokal	1.6147
Yqcloud	Tidak ada	0.0000

Pengujian manual

Saya menguji penyedia ini secara manual dan saya menemukan mereka yang paling dapat diandalkan & cepat.

Penyedia	Lokal/host/keduanya	Waktu respons rata -rata
Gpttalkru	Keduanya	2-3s
Geekgpt	Keduanya	6-8S
Chatgptai	Keduanya	5S
ChatgptNext	Keduanya	7-8S
AICHATONLINE	Lokal	4s
GptChatly	Lokal	4-5s
Onlinegpt	Lokal	4s
Bing	Keduanya	15-20
Chatbase	Keduanya	12-13S
Koala	Lokal	4s
GPTGO	Lokal	12S
Anda	Lokal	10s
Myshell	Lokal	11S
Pi	Lokal	11S
Perplexityai	Lokal	14S
Hashnode	Keduanya	18S
Talkai	Lokal	20 -an
Deepinfra	Keduanya	31-47S
Theb	Lokal	12S

Penting

• Agar GptChatly bekerja, Anda perlu memotong cloudflare captcha secara manual.
• Gpttalkru biasanya tidak memberikan jawaban yang benar. Membutuhkan petunjuk terperinci.

Kesimpulan

Hanya proyek hobi untuk menghabiskan waktu, tidak memiliki niat pengembangan lebih lanjut karena itu hanya pembungkus sederhana di sekitar proyek GPT4 -Free. Secara pribadi saya tidak akan merekomendasikan penggunaan penyedia untuk produksi produksi, mereka mungkin turun setiap saat dan sangat tidak dapat diandalkan. Alih -alih menjadi tuan rumah sendiri dari open source LLMS sendiri. Pilihan pribadi saya adalah Mistral-7B, yang berkinerja lebih baik secara signifikan daripada model LLAMA2-13B Meta. Daftar checkout Open Source LLMS di sini dan Arena Leaderboard di sini (dipilih oleh publik).