sanguozhi llm

Sanguozhi-llm

Sanguozhi-llm

Source de données:三國志,三國演義,三國志十遊戲

Ce projet vise à générer du texte à l'aide du modèle Ollama Llama 3 avec des incorporations intégrées et une base de données vectorielle.

Modèles et outils:

Modèle LLM: digimonster/llama3-chinese-response

Objectif: génère des réponses en caractères chinois.

Modèle d'incorporation: shaw/dmeta-embedding-zh

Objectif: Fournit des incorporations de caractère chinois.

Base de données vectorielle: chromadb

Description: Une base de données vectorielle AI-Native, open source pour une récupération et un stockage efficaces des données.

Documentation: https://documenter.getpostman.com/view/3827865/2saxjf7zxn

URL de l'API: http: // localhost: 8000

URL Web: http: // localhost: 8501

Exigence

• Installer Python (v3.12)
• Installer Olllama Llama (V3)

Test et exécuter

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py