GenossGPT

Genoss Gpt

Substituição de uma linha para o OpenAi chatgpt & incorporados alimentados por modelos OSS

Genoss é uma iniciativa pioneira em código aberto que visa oferecer uma alternativa perfeita aos modelos OpenAI, como o GPT 3.5 e 4, usando modelos de código aberto como o GPT4all.

Project bootstapted usando Sicarator

Características

• Faça uma fonte aberta : Genoss é construído sobre modelos de código aberto como o GPT4all.
• Substituição de uma linha : o Genoss é um substituto de uma linha para a API do OpenAi ChatGPT.

Demonstração

Conclusão e incorporação de bate -papo com GPT4all

Genoss-Demo-last.mp4

Modelos suportados

• GPT4all Modelo e incorporação
• Mais modelos em breve!

Começando

Antes de embarcar, verifique se o Python 3.11 ou superior está instalado em sua máquina.

Instale o servidor

Usando PIP (recomendado)

️ Atualmente, estamos em pré -publicação.

pip install genoss

Instale a versão mais recente deste repositório

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

Execute o servidor

genoss-server
# To know more
genoss-server --help

Acesse os documentos da API via http: // localhost: 4321/docs.

Instalação de modelos

Instale o modelo GPT4all

A primeira etapa é instalar o GPT4all, que é o único modelo suportado no momento. Você pode fazer isso seguindo estas etapas:

1. Clone o repositório:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. Navegue até o diretório de back -end:

 cd gpt4all/gpt4all-backend/

3. Crie um novo diretório de construção e navegue nele:

mkdir build && cd build

4. Configure e construa o projeto usando o cmake:

cmake ..
cmake --build . --parallel

5. Verifique se o Libllmodel.* Existe no gpt4all-backend/build .

6. Navegue de volta para a raiz e instale o pacote Python:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. Faça o download da sua máquina local aqui e coloque-a no diretório local_models como local_models/ggml-gpt4all-j-v1.3-groovy.bin

Executando o aplicativo

Você precisa instalar poesia e uma versão python válida (3.11*).

poetry install

Para mais informações, em uma instalação completa para fins de desenvolvimento, você pode verificar o contribuinte.md. Se você simplesmente deseja iniciar o servidor, pode instalar com os grupos de poesia correspondentes:

poetry install --only main,llms

Após a instalação do pacote Python, você pode executar o aplicativo. O servidor ASGI UVicorn pode ser usado para executar seu aplicativo:

uvicorn main:app --host 0.0.0.0 --port 4321

Este comando inicia o aplicativo Genoss na porta 4321 da sua máquina.

Executando a demonstração do WebApp

Na demo/

cp .env.example .env

Substitua os valores e depois

PYTHONPATH=. streamlit run demo/main.py

Uso da API Genoss

A API do Genoss é um substituto de uma linha para a API do Openai ChatGPT. Ele suporta os mesmos parâmetros e retorna o mesmo formato de resposta que a API OpenAI.

Basta substituir o terminal da API OpenAI pelo ponto de extremidade do Genoss API e você está pronto para ir!

Modifique os modelos para a lista suportada de modelos e você está pronto para ir!

Você pode encontrar a documentação da API em /docs ou /redoc .

Próximos desenvolvimentos

Embora o GPT4all seja o único modelo atualmente suportado, estamos planejando adicionar mais modelos no futuro. Portanto, fique atento para atualizações mais emocionantes.

A visão:

• Permitir que os modelos LLM sejam executados localmente
• Permitir que o LLM seja executado localmente usando o huggingface
• Permita que o LLM seja executado no Huggingface e seja um invólucro em torno da API de inferência.
• Permitir fácil instalação de modelos LLM localmente
• Permita que os usuários usem soluções de fornecedor de nuvem, como GCP, AWS, Azure, etc ...
• Permitir gerenciamento de usuários com as chaves da API
• Tenha todos os tipos de modelos disponíveis para uso (texto para texto, texto para imagem, texto para áudio, áudio para texto etc.)
• Seja compatível com a API OpenAI para modelos que são compatíveis com a API OpenAI

História

Genoss foi imaginado por Stan Girard quando uma característica do Quivr se tornou muito grande e complicada de manter.

A idéia era criar uma API simples que permitisse usar qualquer modelo com a mesma API que a API ChatGPT do OpenAI.

Então @mattzcarey, @maximethoonsen, @wirg e @stangirard começaram a trabalhar no projeto e isso se tornou realidade.

Contribuições

Suas contribuições para o Genoss são imensamente apreciadas! Sinta -se à vontade para enviar quaisquer problemas ou puxar solicitações.

Obrigado, vá a essas pessoas maravilhosas:

Patrocinadores ❤️

Este projeto não poderia ser possível sem o apoio de nossos patrocinadores. Obrigado pelo seu apoio!

Licença

O Genoss é licenciado sob a licença Apache2. Para mais detalhes, consulte o arquivo de licença.