sanguozhi llm

Sanguozhi-llm

Sanguozhi-llm

데이터 출처 :三國志,三國演義,三國志十遊戲

이 프로젝트는 통합 임베딩 및 벡터 데이터베이스가있는 Ollama Llama 3 모델을 사용하여 텍스트를 생성하는 것을 목표로합니다.

모델 및 도구 :

LLM 모델 : digimonster/llama3-chinese-response

목적 : 한자로 응답을 생성합니다.

임베딩 모델 : shaw/dmeta-embedding-zh

목적 : 중국어 임베딩을 제공합니다.

벡터 데이터베이스 : chromadb

설명 : 효율적인 데이터 검색 및 스토리지를위한 AI 원형 오픈 소스 벡터 데이터베이스.

문서 : https://documenter.getpostman.com/view/3827865/2saxjf7zxn

API URL : http : // localhost : 8000

웹 URL : http : // localhost : 8501

요구 사항

• 파이썬 설치 (v3.12)
• Ollama Llama 설치 (v3)

테스트 및 실행

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py