GenossGPT

GENOSS GPT

Openai Chatgpt 및 Embeddings에 의해 OSS 모델에 대한 1 행 교체

Genoss는 GPT4ALL과 같은 오픈 소스 모델을 사용하여 GPT 3.5 & 4와 같은 OpenAI 모델에 대한 완벽한 대안을 제공하는 개척 오픈 소스 이니셔티브입니다.

시 카이터를 사용하여 프로젝트 부트 스트랩

특징

• 오픈 소스 : Genoss는 GPT4ALL과 같은 오픈 소스 모델 위에 구축되었습니다.
• 한 줄 교체 : Genoss는 OpenAI ChatGpt API의 한 줄 교체품입니다.

데모

채팅 완료 및 GPT4ALL로 포함

Genoss-demo-rast.mp4

지원되는 모델

• GPT4ALL 모델 및 임베딩
• 더 많은 모델이 곧 나옵니다!

시작

시작하기 전에 Python 3.11 이상이 컴퓨터에 설치되어 있는지 확인하십시오.

서버를 설치하십시오

PIP 사용 (권장)

켈 우리는 현재 사전 게시 중입니다.

pip install genoss

이 저장소에서 최신 버전을 설치하십시오

pip install git+https://github.com/OpenGenerativeAI/GenossGPT.git@main # egg = genoss

서버를 실행하십시오

genoss-server
# To know more
genoss-server --help

http : // localhost : 4321/docs를 통해 API 문서에 액세스하십시오.

모델 설치

GPT4ALL 모델을 설치하십시오

첫 번째 단계는 현재 유일하게 지원되는 모델 인 GPT4ALL을 설치하는 것입니다. 다음 단계를 수행 하여이 작업을 수행 할 수 있습니다.

1. 저장소 복제 :

git clone --recurse-submodules [email protected]:nomic-ai/gpt4all.git

2. 백엔드 디렉토리로 이동하십시오.

 cd gpt4all/gpt4all-backend/

3. 새 빌드 디렉토리를 만들고 다음으로 탐색하십시오.

mkdir build && cd build

4. cmake를 사용하여 프로젝트를 구성하고 구축하십시오.

cmake ..
cmake --build . --parallel

5. libllmodel을 확인하십시오.* gpt4all-backend/build 에 존재합니다.

6. 루트로 다시 탐색하고 파이썬 패키지를 설치하십시오.

 cd ../../gpt4all-bindings/python
pip3 install -e .

7. 여기에서 로컬 컴퓨터로 다운로드하여 local_models 디렉토리에 local_models/ggml-gpt4all-j-v1.3-groovy.bin 으로 넣으십시오.

응용 프로그램 실행

시와 유효한 파이썬 버전 (3.11*)을 설치해야합니다.

poetry install

자세한 내용은 개발 목적을위한 완전한 설치에서 Contributing.md를 확인할 수 있습니다. 단순히 서버를 시작하려면 해당시 그룹으로 설치할 수 있습니다.

poetry install --only main,llms

파이썬 패키지가 설치된 후에는 응용 프로그램을 실행할 수 있습니다. Uvicorn ASGI 서버는 응용 프로그램을 실행하는 데 사용될 수 있습니다.

uvicorn main:app --host 0.0.0.0 --port 4321

이 명령은 컴퓨터의 포트 4321에서 Genoss 응용 프로그램을 시작합니다.

WebApp 데모를 실행합니다

demo/

cp .env.example .env

값을 교체 한 다음 교체하십시오

PYTHONPATH=. streamlit run demo/main.py

Genoss API 사용

Genoss API는 OpenAI Chatgpt API의 한 줄 교체품입니다. 동일한 매개 변수를 지원하고 OpenAI API와 동일한 응답 형식을 반환합니다.

OpenAI API 엔드 포인트를 Genoss API 엔드 포인트로 바꾸면 좋습니다.

지원되는 모델 목록으로 모델을 수정하면 좋습니다.

/docs 또는 /redoc 에서 API 문서를 찾을 수 있습니다.

다가오는 개발

GPT4ALL은 현재 지원되는 유일한 모델이지만 향후 더 많은 모델을 추가 할 계획입니다. 따라서 더 흥미로운 업데이트를 계속 지켜봐주십시오.

비전 :

• LLM 모델을 로컬로 운영 할 수 있습니다
• Huggingface를 사용하여 LLM을 로컬로 운영 할 수 있습니다
• LLM이 포옹 페이스에서 실행되도록하고 추론 API 주변의 포장지가 되십시오.
• 로컬로 LLM 모델을 쉽게 설치할 수 있습니다
• 사용자는 GCP, AWS, Azure 등과 같은 클라우드 제공 업체 솔루션을 사용할 수 있습니다.
• API 키로 사용자 관리를 허용합니다
• 사용하기에 모든 종류의 모델을 사용할 수 있습니다 (텍스트 대 텍스트, 텍스트 대 이미지, 텍스트, 오디오, 텍스트로의 텍스트 등).
• OpenAI API와 호환되는 모델의 경우 OpenAI API와 호환됩니다.

역사

Genoss는 Stan Girard에 의해 Quivr의 특징이 너무 커지고 유지하기에는 복잡해 졌을 때 상상했습니다.

아이디어는 OpenAI의 ChatGpt API와 동일한 API를 가진 모델을 사용할 수있는 간단한 API를 만드는 것이 었습니다.

그런 다음 @mattzcarey, @maximethoonsen, @wirg 및 @stangirard가 프로젝트 작업을 시작하여 현실이되었습니다.

기여

Genoss에 대한 귀하의 기여는 엄청나게 감사합니다! 문제를 제출하거나 요청을 가져 오십시오.

이 멋진 사람들에게 감사합니다.

후원자 .️

이 프로젝트는 스폰서의 지원 없이는 불가능했습니다. 지원해 주셔서 감사합니다!

특허

Genoss는 Apache2 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.