GPTGateway

Passerelle GPT

Un service Web RESTful créé pour fournir une API simple pour générer du texte à l'aide de divers modèles GPT basés sur différents fournisseurs. Que vous souhaitiez intégrer l'achèvement du chat dans votre application ou explorer les capacités de différents modèles GPT, ce projet vous a couvert. S'appuie sur xtekky / gpt4free.

Utilisation de la démonstration

Un exemple d'application pour présenter une démo de la façon dont cette API peut être utilisée. L'application ci-dessous convertit une vidéo YouTube en blog Markdown qui peut être modifiée.

démo.mp4

Configuration du projet

 # Clone the repository
git clone https://github.com/nagarajpandith/GPTGateway.git

# Navigate to the project directory
cd GPTGateway

# Create a virtual environment
python3 -m venv venv

# Activate the virtual environment
source venv/bin/activate

# Install the required packages
pip3 install -r requirements.txt

Créez un fichier .env et remplissez le var_key API_KEY.

python3 app.py

Utilisation locale

1. Utilisation de curl

curl -X POST -H " Content-Type: application/json " -d ' {"content": "YOUR_PROMPT", "api_key":"API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false} ' http://127.0.0.1:5000/chat_completion

2. Utilisation de n'importe quelle plate-forme de test API comme Postman, Thunder Client, etc.

• Point de terminaison: http://127.0.0.1:5000/Chat_Completion
• Exemple du corps:

{
  "content" : " YOUR_PROMPT " ,
  "api_key" : " API_KEY_HERE " ,
  "provider" : " PROVIDER_NAME " ,
  "stream" : false
}

Note

Vous pouvez héberger cette API vous-même, mais si vous souhaitez utiliser une API déjà hébergée, elle est en direct sur https://gptgateway.onrender.com.

Points de terminaison disponibles

Point final	Description	Méthode	Exemple de corps
/chat_completion	Génère du texte en utilisant un modèle basé sur le fournisseur	POSTE	{"content": "YOUR_PROMPT", "api_key": "API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false}
/working_providers	Récupère une liste des fournisseurs de travail	OBTENIR	{}

Conseil

Les paramètres du fournisseur et du flux sont facultatifs. S'il n'est pas fourni, le fournisseur par défaut est défini sur "Bing" et le flux par défaut est défini sur true. Si le flux est défini sur False, la réponse sera dans le format de sortie final direct.

Providers Tester les résultats

Dernière testée le 9-12-2023 en utilisant "Stream" = false

Note

Pour connaître les prestataires et leurs modèles, référez-vous.

Valeurs d'état

• Les deux: le fournisseur fonctionne avec succès sur l'API locale et hébergée.
• Local: Le fournisseur ne fonctionne avec succès que sur l'API local.
• Hébergé: le fournisseur ne fonctionne avec succès que sur l'API hébergée.
• Aucun: le fournisseur n'a renvoyé aucune réponse réussie sur l'API locale ou hébergée.

Tests automatisés

Important

Si un fournisseur ne fonctionne pas, c'est probablement parce qu'il nécessite des args spéciaux comme Auth = 'Cookie' ou 'JWT' ou le webdriver ne se connecte pas, car le grattage Web est nécessaire pour la plupart des fournisseurs ici ou le blocage d'adresses IP, etc., par conséquent, ne considérez pas les résultats ci-dessous comme source finale de vérité. Pour le tester vous-même, exécutez python3 test.py Script.

Fournisseur	Local / hébergé / les deux	Temps de réponse moyen
Aitianhuspace	Aucun	0,0000
Aichatonline	Les deux	1.7414
Barde	Aucun	0,0000
Bing	Les deux	7.5283
Chatbase	Les deux	11.0944
Chatterai	Aucun	0,0000
Chatppt4online	Aucun	0,0000
Chatpptai	Les deux	4.0048
Chatpptnext	Les deux	1.1684
Deepinfra	Les deux	2.9104
Faux	Aucun	0,0000
Gptalk	Aucun	0,0000
Geekgpt	Hébergé	2.6676
Gptchatly	Aucun	0,0000
Gpptforlove	Aucun	0,0000
Gptgo	Locale	1.0809
Gpttalkru	Les deux	1.3263
Hashode	Les deux	14.0748
Étreindre	Aucun	0,0000
Koala	Locale	2.3503
Liaobots	Aucun	0,0000
Lama2	Aucun	0,0000
Myshell	Locale	9.0187
En ligne	Les deux	2.3497
Openaichat	Aucun	0,0000
Perplexityai	Locale	10.8567
Bêler	Les deux	0,4872
Pi	Locale	8.9026
Poe	Aucun	0,0000
Rayon	Aucun	0,0000
Retryprovider	Aucun	0,0000
Talkai	Locale	13.3812
Theb	Aucun	0,0000
Thebapi	Aucun	0,0000
Toi	Locale	1.6147
Yqcloud	Aucun	0,0000

Tests manuels

J'ai testé ces fournisseurs manuellement et je les trouve les plus fiables et les plus rapides.

Fournisseur	Local / hébergé / les deux	Temps de réponse moyen
Gpttalkru	Les deux	2-3
Geekgpt	Les deux	6-8
Chatpptai	Les deux	5s
Chatpptnext	Les deux	7-8
Aichatonline	Locale	4s
Gptchatly	Locale	4-5
En ligne	Locale	4s
Bing	Les deux	15-20
Chatbase	Les deux	12-13
Koala	Locale	4s
Gptgo	Locale	12s
Toi	Locale	10s
Myshell	Locale	11
Pi	Locale	11
Perplexityai	Locale	14s
Hashode	Les deux	18S
Talkai	Locale	20s
Deepinfra	Les deux	31-47
Theb	Locale	12s

Important

• Pour que Gptchatly fonctionne, vous devez contourner manuellement CloudFlare CAPTCHA.
• Gpttalkru ne fournit généralement pas de bonnes réponses. A besoin d'invites détaillées.

Conclusion

Juste un projet de passe-temps pour passer le temps, n'a aucune intention de développer le développement car il s'agit juste d'un simple wrapper autour du projet GPT4FREE. Personnellement, je ne recommanderais pas l'utilisation de fournisseurs pour les usées de production, ils pourraient baisser à tout moment et sont très peu fiables. Au lieu de cela, hébergez vous-même l'une des LLM open source. Mon choix personnel serait Mistral-7B, qui fonctionne beaucoup mieux que le modèle LLAMA2-13B de Meta. Liste de paiement des LLMS open source ici et Arena Leaderboard ici (voté par le public).