GPTGateway

GPT Gateway

Un servicio web RESTful creado para proporcionar una API simple para generar texto utilizando varios modelos GPT basados ​​en diferentes proveedores. Ya sea que desee integrar la finalización del chat en su aplicación o explorar las capacidades de diferentes modelos GPT, este proyecto lo tiene cubierto. Confía en Xtekky/GPT4Free.

Uso de demo

Una aplicación de ejemplo para mostrar una demostración de cómo se puede usar esta API. La siguiente aplicación convierte un video de YouTube en el blog de Markdown que se puede editar.

demo.mp4

Configuración del proyecto

 # Clone the repository
git clone https://github.com/nagarajpandith/GPTGateway.git

# Navigate to the project directory
cd GPTGateway

# Create a virtual environment
python3 -m venv venv

# Activate the virtual environment
source venv/bin/activate

# Install the required packages
pip3 install -r requirements.txt

Cree un archivo .env y complete el VAR API_KEY.

python3 app.py

Uso local

1. Usando curl

curl -X POST -H " Content-Type: application/json " -d ' {"content": "YOUR_PROMPT", "api_key":"API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false} ' http://127.0.0.1:5000/chat_completion

2. Uso de cualquier plataforma de prueba API como Postman, Thunder Client, etc.

• Punto final: http://127.0.0.1:5000/chat_completion
• Ejemplo del cuerpo:

{
  "content" : " YOUR_PROMPT " ,
  "api_key" : " API_KEY_HERE " ,
  "provider" : " PROVIDER_NAME " ,
  "stream" : false
}

Nota

Puede alojar esta API usted mismo, pero si desea usar API ya alojada, está en vivo en https://gptgateway.onrender.com.

Puntos finales disponibles

Punto final	Descripción	Método	Cuerpo de ejemplo
/chat_completion	Genera texto utilizando el modelo basado en el proveedor	CORREO	{"content": "YOUR_PROMPT", "api_key": "API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false}
/working_providers	Recupera una lista de proveedores de trabajo	CONSEGUIR	{}

Consejo

Los parámetros del proveedor y la transmisión son opcionales. Si no se proporciona, el proveedor predeterminado se establece en "Bing" y la transmisión predeterminada se establece en True. Si la transmisión se establece en falso, la respuesta estará en formato de salida final directo.

Los proveedores que prueban los resultados

Última prueba el 9-12-2023 usando "Stream" = False

Nota

Conocer a los proveedores y sus modelos se refieren a esto.

Valores de estado

• Ambos: el proveedor trabaja con éxito en la API local y alojada.
• Local: El proveedor trabaja con éxito solo en la API local.
• Organizado: el proveedor trabaja con éxito solo en la API alojada.
• Ninguno: el proveedor no devolvió una respuesta exitosa en la API local o alojada.

Prueba automatizada

Importante

Si un proveedor no funciona, probablemente sea porque necesita args especiales como Auth = 'Cookie' o 'JWT' o WebDriver no se conecta, ya que el raspado web se necesita para la mayoría de los proveedores aquí o el bloqueo de direcciones IP, etc., por lo tanto, no considere los resultados a continuación como fuente final de verdad. Para probarlo usted mismo, ejecute script python3 test.py

Proveedor	Local/alojado/ambos	Tiempo de respuesta promedio
Aitianhuspace	Ninguno	0.0000
Aichatonline	Ambos	1.7414
Bardo	Ninguno	0.0000
Aturdir	Ambos	7.5283
Base de chat	Ambos	11.0944
Chatforai	Ninguno	0.0000
Chatgpt4online	Ninguno	0.0000
Chatgptai	Ambos	4.0048
ChatgptNext	Ambos	1.1684
Profundo	Ambos	2.9104
Falsificación	Ninguno	0.0000
Gptalk	Ninguno	0.0000
Geekgpt	Alojado	2.6676
GptChatly	Ninguno	0.0000
Gptforlove	Ninguno	0.0000
Gptgo	Local	1.0809
Gpttalkru	Ambos	1.3263
Hashnode	Ambos	14.0748
Huggingchat	Ninguno	0.0000
Coala	Local	2.3503
Liaobots	Ninguno	0.0000
Llama2	Ninguno	0.0000
Myshell	Local	9.0187
En líneagpt	Ambos	2.3497
OpenAichat	Ninguno	0.0000
Perpleja	Local	10.8567
Tirada	Ambos	0.4872
Pi	Local	8.9026
Poe	Ninguno	0.0000
Rayado	Ninguno	0.0000
Retryprovider	Ninguno	0.0000
Talkai	Local	13.3812
Theb	Ninguno	0.0000
Thbapi	Ninguno	0.0000
Tú	Local	1.6147
Yqcloud	Ninguno	0.0000

Prueba manual

Probé estos proveedores manualmente y considero que son los más confiables y rápidos.

Proveedor	Local/alojado/ambos	Tiempo de respuesta promedio
Gpttalkru	Ambos	2-3
Geekgpt	Ambos	6-8
Chatgptai	Ambos	5s
ChatgptNext	Ambos	7-8
Aichatonline	Local	4s
GptChatly	Local	4-5s
En líneagpt	Local	4s
Aturdir	Ambos	15-20
Base de chat	Ambos	12-13S
Coala	Local	4s
Gptgo	Local	12s
Tú	Local	10s
Myshell	Local	11s
Pi	Local	11s
Perpleja	Local	14s
Hashnode	Ambos	18s
Talkai	Local	20
Profundo	Ambos	31-47S
Theb	Local	12s

Importante

• Para que gptChatly funcione, debe evitar el captcha de Cloudflare manualmente.
• Gpttalkru no proporciona respuestas correctas generalmente. Necesita indicaciones detalladas.

Conclusión

Solo un proyecto de pasatiempo para pasar el tiempo, no tiene intenciones de un mayor desarrollo, ya que es solo una envoltura simple alrededor del proyecto GPT4Free. Personalmente, no recomendaría el uso de proveedores para la producción de artículos, podrían bajar cualquier momento y no son confiables. En su lugar, aloje cualquiera de los LLM de código abierto usted mismo. Mi elección personal sería Mistral-7B, que funciona significativamente mejor que el modelo LLAMA2-13B de Meta Meta. Lista de verificación de LLM de código abierto aquí y tabla de clasificación de arena aquí (votada por el público).