GenossGPT

GENOSS GPT

Reemplazo de una línea para Operai Chatgpt e Incrustos alimentados por modelos OSS

Genoss es una iniciativa pionera de código abierto que tiene como objetivo ofrecer una alternativa perfecta a los modelos OpenAI como GPT 3.5 y 4, utilizando modelos de código abierto como GPT4All.

Proyecto de arranque con sicarator

Características

• Source abierto : Geness está construido sobre modelos de código abierto como GPT4All.
• Reemplazo de una línea : Geness es un reemplazo de una línea para la API de OpenAI CHATGPT.

Manifestación

Finalización de chat e incrustación con gpt4all

Geness-Demo-lat.mp4

Modelos compatibles

• Modelo e incrustaciones GPT4All
• ¡Más modelos próximamente!

Arrancar

Antes de embarcarse, asegúrese de que Python 3.11 o superior esté instalado en su máquina.

Instalar el servidor

Usando PIP (recomendado)

️ Actualmente estamos en prepublish.

pip install genoss

Instale la última versión de este repositorio

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

Ejecutar el servidor

genoss-server
# To know more
genoss-server --help

Acceda a los documentos API a través de http: // localhost: 4321/docs.

Instalación de modelos

Instalar el modelo GPT4All

El primer paso es instalar GPT4All, que es el único modelo compatible en este momento. Puede hacer esto siguiendo estos pasos:

1. Clon el repositorio:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. Navegue al directorio de backend:

 cd gpt4all/gpt4all-backend/

3. Cree un nuevo directorio de compilación y navegue por él:

mkdir build && cd build

4. Configurar y construir el proyecto usando CMake:

cmake ..
cmake --build . --parallel

5. Verifique que LibllModel.* Existe en gpt4all-backend/build .

6. Navegue de nuevo a la raíz e instale el paquete Python:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. Descárguelo a su máquina local desde aquí y póngala en el directorio local_models como local_models/ggml-gpt4all-j-v1.3-groovy.bin

Ejecutando la aplicación

Debe instalar poesía y una versión válida de Python (3.11*).

poetry install

Para obtener más información, en una instalación completa para fines de desarrollo, puede verificar el contribuyente. Si simplemente desea iniciar el servidor, puede instalar con los grupos de poesía correspondientes:

poetry install --only main,llms

Después de instalar el paquete Python, puede ejecutar la aplicación. El servidor ASGI UVICORN se puede usar para ejecutar su aplicación:

uvicorn main:app --host 0.0.0.0 --port 4321

Este comando inicia la aplicación Geness en el puerto 4321 de su máquina.

Ejecutando la demostración de WebApp

En la demo/

cp .env.example .env

Reemplazar los valores y luego

PYTHONPATH=. streamlit run demo/main.py

Uso de la API de Geness

La API de Geness es un reemplazo de una línea para la API de OpenAI CHATGPT. Admite los mismos parámetros y devuelve el mismo formato de respuesta que la API de OpenAI.

¡Simplemente reemplace el punto final de la API de OpenAI con el punto final de la API de Geness y listo!

¡Modifique los modelos a la lista compatible de modelos y está listo para comenzar!

Puede encontrar la documentación de la API en /docs o /redoc .

Próximos desarrollos

Si bien GPT4All es el único modelo compatible actualmente, estamos planeando agregar más modelos en el futuro. Entonces, estén atentos para actualizaciones más emocionantes.

La visión:

• Permitir que los modelos LLM se ejecuten localmente
• Permitir que LLM se ejecute localmente usando Huggingface
• Permita que LLM se ejecute en Huggingface y solo sea un envoltorio alrededor de la API de inferencia.
• Permitir una fácil instalación de modelos LLM localmente
• Permitir a los usuarios usar soluciones de proveedores de la nube como GCP, AWS, Azure, etc.
• Permitir la administración de usuarios con las teclas API
• Tenga todo tipo de modelos disponibles para usar (texto a texto, texto a imagen, texto a audio, audio a texto, etc.)
• Ser compatible con la API de OpenAI para modelos que son compatibles con la API de OpenAI

Historia

Genos fue imaginado por Stan Girard cuando una característica de Quivr se volvió demasiado grande y complicada de mantener.

La idea era crear una API simple que permitiera usar cualquier modelo con la misma API que la API CHATGPT de OpenAI.

Entonces @MattzCarey, @maximethoonsen, @wirg y @SanGirard comenzaron a trabajar en el proyecto y se hizo realidad.

Contribuciones

¡Sus contribuciones a Genos son inmensamente apreciadas! No dude en enviar cualquier problema o solicitud de extraer.

Gracias a estas maravillosas personas:

Patrocinadores ❤️

Este proyecto no podría ser posible sin el apoyo de nuestros patrocinadores. ¡Gracias por su apoyo!

Licencia

Geness tiene licencia bajo la licencia Apache2. Para obtener más detalles, consulte el archivo de licencia.