GPTGateway

GPT Gateway

Um serviço Web RESTful criado para fornecer uma API simples para gerar texto usando vários modelos GPT com base em diferentes fornecedores. Se você deseja integrar a conclusão de bate -papo em seu aplicativo ou explorar os recursos de diferentes modelos GPT, este projeto o abordou. Depende do Xtekky/Gpt4Free.

Uso da demonstração

Um aplicativo de exemplo para mostrar uma demonstração de como essa API pode ser usada. O aplicativo abaixo converte um vídeo do YouTube no blog Markdown, que pode ser editado.

Demo.MP4

Configuração do projeto

 # Clone the repository
git clone https://github.com/nagarajpandith/GPTGateway.git

# Navigate to the project directory
cd GPTGateway

# Create a virtual environment
python3 -m venv venv

# Activate the virtual environment
source venv/bin/activate

# Install the required packages
pip3 install -r requirements.txt

Crie um arquivo .env e preencha o API_KEY VAR.

python3 app.py

Uso local

1. Usando curl

curl -X POST -H " Content-Type: application/json " -d ' {"content": "YOUR_PROMPT", "api_key":"API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false} ' http://127.0.0.1:5000/chat_completion

2. Usando qualquer plataforma de teste de API como Postman, Thunder Client etc.

• Endpoint: http://127.0.0.1:5000/chat_completion
• Exemplo de corpo:

{
  "content" : " YOUR_PROMPT " ,
  "api_key" : " API_KEY_HERE " ,
  "provider" : " PROVIDER_NAME " ,
  "stream" : false
}

Observação

Você pode hospedar esta API, mas se você quiser usar a API já hospedada, ela está ao vivo em https://gptgateway.onrender.com.

Terminais disponíveis

Endpoint	Descrição	Método	Exemplo de corpo
/chat_completion	Gera texto usando o modelo com base no provedor	PUBLICAR	{"content": "YOUR_PROMPT", "api_key": "API_KEY_HERE", "provider": "PROVIDER_NAME", "stream": false}
/working_providers	Recupera uma lista de fornecedores de trabalho	PEGAR	{}

Dica

Os parâmetros do provedor e do fluxo são opcionais. Se não for fornecido, o provedor padrão está definido como "bing" e o fluxo padrão está definido como true. Se o fluxo estiver definido como falso, a resposta estará no formato de saída final direta.

Resultados de teste de provedores

Último testado em 9-12-2023 usando "stream" = false

Observação

Conhecer os provedores e seus modelos referem isso.

Valores de status

• Ambos: o provedor trabalha com sucesso na API local e hospedada.
• Local: o provedor trabalha com sucesso apenas na API local.
• Hospedado: o provedor trabalha com sucesso apenas na API hospedada.
• Nenhum: o provedor não retornou uma resposta bem -sucedida na API local ou hospedada.

Teste automatizado

Importante

Se um provedor não estiver funcionando, provavelmente é porque precisa de args especiais como auth = 'cookie' ou 'jwt' ou o webdriver não se conecta, pois a raspagem da web é necessária para a maioria dos provedores aqui ou bloqueio de endereço IP etc. Portanto, não considere os resultados abaixo como a fonte final da verdade. Para testá -lo, execute o script python3 test.py

Provedor	Local/hospedado/ambos	Tempo médio de resposta
Aitianhuspace	Nenhum	0,0000
Aichatonline	Ambos	1.7414
Bardo	Nenhum	0,0000
Bing	Ambos	7.5283
Chatbase	Ambos	11.0944
Chatforai	Nenhum	0,0000
Chatgpt4online	Nenhum	0,0000
Chatgptai	Ambos	4.0048
ChatgptNext	Ambos	1.1684
Deepinfra	Ambos	2.9104
Falsogpt	Nenhum	0,0000
Gpalk	Nenhum	0,0000
Geekgpt	Hospedado	2.6676
Gptchatly	Nenhum	0,0000
Gptforlove	Nenhum	0,0000
GPTGO	Local	1.0809
GptTalkru	Ambos	1.3263
Hashnode	Ambos	14.0748
HuggingChat	Nenhum	0,0000
Koala	Local	2.3503
Liaobots	Nenhum	0,0000
Llama2	Nenhum	0,0000
Myshell	Local	9.0187
Onlinegpt	Ambos	2.3497
OpenAichat	Nenhum	0,0000
Perplexityai	Local	10.8567
Phind	Ambos	0,4872
Pi	Local	8.9026
Poe	Nenhum	0,0000
Raycast	Nenhum	0,0000
RETRYPROVER	Nenhum	0,0000
Talkai	Local	13.3812
Theb	Nenhum	0,0000
TheBapi	Nenhum	0,0000
Você	Local	1.6147
Yqcloud	Nenhum	0,0000

Teste manual

Eu testei esses provedores manualmente e acho que eles são os mais confiáveis ​​e rápidos.

Provedor	Local/hospedado/ambos	Tempo médio de resposta
GptTalkru	Ambos	2-3s
Geekgpt	Ambos	6-8s
Chatgptai	Ambos	5s
ChatgptNext	Ambos	7-8s
Aichatonline	Local	4s
Gptchatly	Local	4-5s
Onlinegpt	Local	4s
Bing	Ambos	15-20s
Chatbase	Ambos	12-13s
Koala	Local	4s
GPTGO	Local	12s
Você	Local	10s
Myshell	Local	11s
Pi	Local	11s
Perplexityai	Local	14s
Hashnode	Ambos	18s
Talkai	Local	20s
Deepinfra	Ambos	31-47s
Theb	Local	12s

Importante

• Para que o GPTCHATLY funcione, você precisa ignorar o CloudFlare Captcha manualmente.
• O GPTTalkru não fornece respostas certas normalmente. Precisa de avisos detalhados.

Conclusão

Apenas um projeto de hobby para passar o tempo, não tem intenções de desenvolvimento adicional, pois é apenas um invólucro simples em torno do projeto GPT4Free. Pessoalmente, eu não recomendaria o uso de provedores para a produção de USECASES, eles podem diminuir a qualquer momento e não são altamente confiáveis. Em vez disso, hospede qualquer um dos LLMs de código aberto. Minha escolha pessoal seria o Mistral-7b, que tem um desempenho significativamente melhor que o modelo LLAMA2-13B da Meta. Lista de check -out de Open Source LLMS aqui e Arena Liderond Ranking aqui (votado pelo público).