GenossGPT

Genoss GPT

Penggantian satu baris untuk Openai Chatgpt & Embeddings Didukung oleh Model OSS

Genoss adalah inisiatif sumber terbuka perintis yang bertujuan untuk menawarkan alternatif yang mulus untuk model OpenAI seperti GPT 3.5 & 4, menggunakan model open-source seperti GPT4ALL.

Bootstrap Project Menggunakan Sicarator

Fitur

• Open-Source : Genoss dibangun di atas model open-source seperti GPT4ALL.
• Penggantian satu baris : Genoss adalah pengganti satu baris untuk OpenAI Chatgpt API.

Demo

Obrolan selesai dan menanamkan dengan gpt4all

Genoss-demo-last.mp4

Model yang didukung

• GPT4All Model & Embeddings
• Lebih banyak model segera hadir!

Memulai

Sebelum Anda memulai, pastikan Python 3.11 atau lebih tinggi dipasang di mesin Anda.

Instal server

Menggunakan Pip (Direkomendasikan)

️ Kami saat ini berada di preublish.

pip install genoss

Instal versi terbaru dari repositori ini

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

Jalankan server

genoss-server
# To know more
genoss-server --help

Akses API Docs melalui http: // localhost: 4321/docs.

Instalasi Model

Instal Model GPT4All

Langkah pertama adalah menginstal GPT4ALL, yang merupakan satu -satunya model yang didukung saat ini. Anda dapat melakukan ini dengan mengikuti langkah -langkah ini:

1. Klon Repositori:

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. Arahkan ke direktori backend:

 cd gpt4all/gpt4all-backend/

3. Buat direktori build baru dan navigasikan ke dalamnya:

mkdir build && cd build

4. Konfigurasikan dan Bangun Proyek Menggunakan CMake:

cmake ..
cmake --build . --parallel

5. Pastikan libllmodel itu.* Ada di gpt4all-backend/build .

6. Navigasikan kembali ke root dan instal paket Python:

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. Unduh ke mesin lokal Anda dari sini dan masukkan ke dalam direktori local_models sebagai local_models/ggml-gpt4all-j-v1.3-groovy.bin

Menjalankan aplikasi

Anda perlu menginstal puisi dan versi python yang valid (3.11*).

poetry install

Untuk lebih lanjut, pada instalasi lengkap untuk tujuan pengembangan, Anda dapat memeriksa kontribusi.md. Jika Anda hanya ingin memulai server, Anda dapat menginstal dengan grup puisi yang sesuai:

poetry install --only main,llms

Setelah paket Python diinstal, Anda dapat menjalankan aplikasi. Server ASGI Uvicorn dapat digunakan untuk menjalankan aplikasi Anda:

uvicorn main:app --host 0.0.0.0 --port 4321

Perintah ini meluncurkan aplikasi Genoss di port 4321 mesin Anda.

Menjalankan Demo Webapp

Di demo/

cp .env.example .env

Ganti nilainya dan kemudian

PYTHONPATH=. streamlit run demo/main.py

Penggunaan API Genoss

API Genoss adalah pengganti satu baris untuk OpenAI Chatgpt API. Ini mendukung parameter yang sama dan mengembalikan format respons yang sama dengan API OpenAI.

Cukup ganti titik akhir API OpenAI dengan titik akhir API Genoss dan Anda baik untuk pergi!

Ubah model ke daftar model yang didukung dan Anda siap melakukannya!

Anda dapat menemukan dokumentasi API di /docs atau /redoc .

Perkembangan yang akan datang

Sementara GPT4ALL adalah satu -satunya model yang saat ini didukung, kami berencana untuk menambahkan lebih banyak model di masa depan. Jadi, nantikan pembaruan yang lebih menarik.

Visi:

• Izinkan model LLM dijalankan secara lokal
• Izinkan LLM dijalankan secara lokal menggunakan Huggingface
• Izinkan LLM dijalankan di atas pelukan dan hanya menjadi pembungkus di sekitar API inferensi.
• Izinkan pemasangan model LLM yang mudah secara lokal
• Izinkan pengguna untuk menggunakan solusi penyedia cloud seperti GCP, AWS, Azure, dll ...
• Izinkan manajemen pengguna dengan kunci API
• Siapkan semua jenis model untuk digunakan (teks ke teks, teks ke gambar, teks ke audio, audio ke teks, dll.)
• Jadilah kompatibel dengan API OpenAI untuk model yang kompatibel dengan API OpenAI

Sejarah

Genoss dibayangkan oleh Stan Girard ketika fitur Quivr menjadi terlalu besar dan rumit untuk dipertahankan.

Idenya adalah untuk membuat API sederhana yang memungkinkan untuk menggunakan model apa pun dengan API yang sama dengan Openai's ChatGPT API.

Kemudian @mattzcarey, @maximethoonsen, @wirg dan @stangirard mulai mengerjakan proyek dan itu menjadi kenyataan.

Kontribusi

Kontribusi Anda untuk Genoss sangat dihargai! Jangan ragu untuk mengirimkan masalah atau tarik permintaan apa pun.

Terima kasih pergi ke orang -orang luar biasa ini:

Sponsor ❤️

Proyek ini tidak mungkin terjadi tanpa dukungan dari sponsor kami. Terima kasih atas dukungan Anda!

Lisensi

Genoss dilisensikan di bawah lisensi APACHE2. Untuk detail lebih lanjut, lihat file lisensi.