sanguozhi llm

sanguzhi-llm

sanguzhi-llm

データソース：三國志、三國演義、三國志十遊戲

このプロジェクトの目的は、統合された埋め込みとベクトルデータベースを備えたOllama Llama 3モデルを使用してテキストを生成することを目的としています。

モデルとツール：

LLMモデル： digimonster/llama3-chinese-response

目的：漢字の応答を生成します。

埋め込みモデル： shaw/dmeta-embedding-zh

目的：漢字の埋め込みを提供します。

ベクトルデータベース： chromadb

説明：効率的なデータ取得とストレージのためのAI-NATINAT、オープンソースベクトルデータベース。

ドキュメント：https：//documenter.getpostman.com/view/3827865/2Saxjf7zxn

API URL：http：// localhost：8000

Web URL：http：// localhost：8501

要件

• Python（v3.12）をインストールする
• OllamaLlama（V3）をインストールする

テストと実行

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py