GenossGPT

Genoss GPT

Ein Zeilenersatz für OpenAI -Chatgpt & Einbettungsdings, die von OSS -Modellen angetrieben werden

Genoss ist eine wegweisende Open-Source-Initiative, die eine nahtlose Alternative zu OpenAI-Modellen wie GPT 3.5 und 4 anbietet, indem sie Open-Source-Modelle wie GPT4all verwenden.

Projekt mit Sicarator straßstrappiert

Merkmale

• Open-Source : Genoss basiert auf Open-Source-Modellen wie GPT4all.
• Ein Zeilenersatz : Genoss ist ein Einzeilen-Ersatz für die OpenAI-Chatgpt-API.

Demo

Chat -Abschluss und Einbettung in GPT4all

Genoss-Demo-Last.MP4

Unterstützte Modelle

• GPT4ALL MODEL & EMBEDDINGEN
• Weitere Modelle kommen bald!

Start

Stellen Sie vor dem Einstieg sicher, dass Python 3.11 oder höher auf Ihrem Computer installiert ist.

Installieren Sie den Server

Verwenden von PIP (empfohlen)

Euen Wir sind derzeit in der Veröffentlichung.

pip install genoss

Installieren Sie die neueste Version aus diesem Repository

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

Führen Sie den Server aus

genoss-server
# To know more
genoss-server --help

Greifen Sie über http: // localhost: 4321/docs auf die API -Dokumente zu.

Models Installation

Installieren Sie das GPT4ALL -Modell

Der erste Schritt besteht darin, GPT4ALL zu installieren, das derzeit das einzige unterstützte Modell ist. Sie können dies tun, indem Sie folgende Schritte ausführen:

1. Klonen Sie das Repository:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. Navigieren Sie zum Backend -Verzeichnis:

 cd gpt4all/gpt4all-backend/

3. Erstellen Sie ein neues Build -Verzeichnis und navigieren Sie darin:

mkdir build && cd build

4. Konfigurieren und erstellen Sie das Projekt mit CMake:

cmake ..
cmake --build . --parallel

5. Überprüfen Sie, ob liblmodel.* In gpt4all-backend/build existiert.

6. Navigieren Sie zurück zum Root und installieren Sie das Python -Paket:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. Laden Sie es von hier auf Ihre lokale Maschine herunter und legen Sie es in das Verzeichnis local_models als local_models/ggml-gpt4all-j-v1.3-groovy.bin

Ausführen der Anwendung

Sie müssen Gedichte und eine gültige Python -Version (3.11*) installieren.

poetry install

Für mehr können Sie bei einer vollständigen Installation für Entwicklungszwecke den Beitrag überprüft.md. Wenn Sie einfach den Server starten möchten, können Sie mit den entsprechenden Gedichtgruppen installieren:

poetry install --only main,llms

Nachdem das Python -Paket installiert wurde, können Sie die Anwendung ausführen. Der Uvicorn -ASGI -Server kann verwendet werden, um Ihre Anwendung auszuführen:

uvicorn main:app --host 0.0.0.0 --port 4321

Dieser Befehl startet die Genoss -Anwendung auf Port 4321 Ihrer Maschine.

Ausführen der WebApp -Demo

In der demo/

cp .env.example .env

Ersetzen Sie die Werte und dann

PYTHONPATH=. streamlit run demo/main.py

Genoss -API -Verwendung

Die Genoss-API ist ein One-Line-Ersatz für die OpenAI-Chatgpt-API. Es unterstützt die gleichen Parameter und gibt das gleiche Antwortformat wie die OpenAI -API zurück.

Ersetzen Sie einfach den OpenAI -API -Endpunkt durch den Genoss -API -Endpunkt und Sie können loslegen!

Ändern Sie die Modelle in die unterstützte Liste der Modelle und Sie können loslegen!

Sie finden die API -Dokumentation unter /docs oder /redoc .

Bevorstehende Entwicklungen

Während GPT4all das derzeit unterstützte Modell ist, planen wir, in Zukunft weitere Modelle hinzuzufügen. Seien Sie also gespannt auf aufregende Updates.

Die Vision:

• Lassen Sie LLM -Modelle lokal laufen
• Lassen Sie LLM mit Huggingface lokal laufen
• Lassen Sie LLM auf dem Umarmungsface laufen und sei einfach ein Wrapper um die Inferenz -API.
• Ermöglichen Sie eine einfache Installation von LLM -Modellen lokal
• Ermöglichen Sie Benutzern, Cloud -Anbieterlösungen wie GCP, AWS, Azure usw. zu verwenden ...
• Benutzerverwaltung mit API -Schlüssel zulassen
• Haben Sie alle Arten von Modellen zur Verwendung zur Verfügung (Text zum Text, Text zum Bild, Text zu Audio, Audio zu Text usw.)
• Seien Sie mit OpenAI -API für Modelle kompatibel, die mit OpenAI -API kompatibel sind

Geschichte

Genoss wurde von Stan Girard vorgestellt, als ein Merkmal von Quivr zu groß und kompliziert wurde, um sie aufrechtzuerhalten.

Die Idee war, eine einfache API zu erstellen, die es ermöglicht, jedes Modell mit derselben API wie OpenAs Chatgpt -API zu verwenden.

Dann begannen @Mattzcarey, @maximethoonsen, @wirg und @Stangirard an dem Projekt zu arbeiten, und es wurde Wirklichkeit.

Beiträge

Ihre Beiträge zu Genoss werden immens geschätzt! Fühlen Sie sich frei, Probleme zu stellen oder Anfragen zu ziehen.

Danke an diese wunderbaren Leute:

Sponsoren ❤️

Dieses Projekt könnte ohne die Unterstützung unserer Sponsoren nicht möglich sein. Vielen Dank für Ihre Unterstützung!

Lizenz

Genoss ist unter der Apache2 -Lizenz lizenziert. Weitere Informationen finden Sie in der Lizenzdatei.