sanguozhi llm

sanguozhi-llm

sanguozhi-llm

數據源：三國志，三國演義，三國志十遊戲

該項目旨在使用具有集成嵌入式和矢量數據庫的Ollama Llama 3模型生成文本。

模型和工具：

LLM型號： digimonster/llama3-chinese-response

目的：以漢字產生響應。

嵌入模型： shaw/dmeta-embedding-zh

目的：提供漢字嵌入。

向量數據庫： chromadb

描述：一個AI原始開源矢量數據庫，用於有效的數據檢索和存儲。

文檔：https：//documenter.getpostman.com/view/3827865/2SAXJF7ZXN

API URL：http：// localhost：8000

Web URL：http：// localhost：8501

要求

• 安裝Python（v3.12）
• 安裝Ollama Llama（V3）

測試和運行

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py