sanguozhi llm

sanguozhi-llm

sanguozhi-llm

Datenquelle:三國志,三國演義,三國志十遊戲

Dieses Projekt zielt darauf ab, Text mit dem Ollama Llama 3 -Modell mit integrierten Einbettungen und einer Vektor -Datenbank zu generieren.

Modelle und Werkzeuge:

LLM-Modell: digimonster/llama3-chinese-response

Zweck: Erzeugt Antworten in chinesischen Zeichen.

Einbettungsmodell: shaw/dmeta-embedding-zh

Zweck: Bietet chinesische Charakter -Einbettungen.

Vektordatenbank: chromadb

Beschreibung: Eine AI-native Open-Source-Vektor-Datenbank für effizientes Datenab Abrufen und Speicher.

Dokumentation: https://documenter.getpostman.com/view/3827865/2saxjf7zxn

API URL: http: // localhost: 8000

Web -URL: http: // localhost: 8501

Erfordernis

• Installieren Sie Python (v3.12)
• Installieren Sie Ollama Lama (v3)

Testen und Lauf

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py