GenossGPT

Genoss GPT

由OSS模型提供动力的OpenAi Chatgpt＆Embeddings的一行替换

Genoss是一项开拓开源计划，旨在使用GPT4All等开源模型提供OpenAI模型（例如GPT 3.5＆4）的无缝替代方案。

使用Sicarator的项目自举

特征

• 开源：Genoss建​​立在诸如GPT4All之类的开源模型之上。
• 一行替代者：Genoss是Openai Chatgpt API的单行替代品。

演示

聊天完成并与GPT4All嵌入

genoss-demo-last.mp4

支持的模型

• GPT4All模型和嵌入
• 更多模型即将推出！

启动

在您登上之前，请确保在机器上安装Python 3.11或更高版本。

安装服务器

使用PIP（推荐）

配x我们目前正在出版。

pip install genoss

在此存储库中安装最新版本

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

运行服务器

genoss-server
# To know more
genoss-server --help

通过http：// localhost：4321/docs访问API文档。

型号安装

安装GPT4All型号

第一步是安装GPT4ALL，这是目前唯一受支持的模型。您可以按照以下步骤执行此操作：

1. 克隆存储库：

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. 导航到后端目录：

 cd gpt4all/gpt4all-backend/

3. 创建一个新的构建目录并导航到其中：

mkdir build && cd build

4. 使用CMAKE配置和构建项目：

cmake ..
cmake --build . --parallel

5. 验证libllmodel。*存在于gpt4all-backend/build中。

6. 导航回根并安装Python软件包：

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. 将其从这里下载到您的本地机器，并将其放入local_models目录中，为local_models/ggml-gpt4all-j-v1.3-groovy.bin

运行应用程序

您需要安装诗歌和有效的Python版本（3.11*）。

poetry install

有关更多信息，以进行开发目的，您可以检查贡献。md。如果您只想启动服务器，则可以使用相应的诗歌组安装：

poetry install --only main,llms

安装Python软件包后，您可以运行该应用程序。 Uvicorn Asgi服务器可用于运行您的应用程序：

uvicorn main:app --host 0.0.0.0 --port 4321

该命令在您的机器的端口4321上启动了Genoss应用程序。

运行WebApp演示

在demo/

cp .env.example .env

替换值然后

PYTHONPATH=. streamlit run demo/main.py

Genoss API使用

Genoss API是Openai Chatgpt API的单行替代品。它支持相同的参数，并返回与OpenAI API相同的响应格式。

只需用Genoss API端点替换OpenAI API端点，就可以了！

将模型修改为受支持的模型列表，您可以使用！

您可以在/docs或/redoc中找到API文档。

即将到来的发展

尽管GPT4ALL是当前支持的唯一模型，但我们计划将来添加更多模型。因此，请继续关注更多令人兴奋的更新。

愿景：

• 允许LLM模型在本地运行
• 允许LLM使用HuggingFace在本地运行
• 允许LLM在HuggingFace上运行，然后成为推理API周围的包装器。
• 轻松安装本地LLM型号
• 允许用户使用云提供商解决方案，例如GCP，AWS，Azure等...
• 允许用户管理API键
• 拥有各种可供使用的模型（文本，文本到图像，文本到音频，音频到文本等）
• 与OpenAI API兼容与OpenAI API兼容的型号

历史

当Quivr的特征变得太大且无法维持时，Genoss被Stan Girard所想象。

这个想法是创建一个简单的API，该API允许使用与OpenAI的ChatGpt API相同的API模型。

然后，@mattzcarey，@maximethoonsen，@wirg和@stangirard开始从事该项目，并成为现实。

贡献

您对Genoss的贡献非常感谢！随时提交任何问题或提取请求。

谢谢这些好人：

赞助商❤️

没有我们的赞助商的支持，这个项目是不可能的。谢谢您的支持！

执照

Genoss已获得Apache2许可证的许可。有关更多详细信息，请参阅许可证文件。