sanguozhi llm

sanguozhi-llm

sanguozhi-llm

Fonte de dados:三國志,三國演義,三國志十遊戲

Este projeto tem como objetivo gerar texto usando o modelo Ollama Llama 3 com incorporação integrada e um banco de dados vetorial.

Modelos e ferramentas:

Modelo LLM: digimonster/llama3-chinese-response

Objetivo: gera respostas em caracteres chineses.

Modelo de incorporação: shaw/dmeta-embedding-zh

Objetivo: fornece incorporações de caráter chinês.

Banco de dados vetorial: chromadb

Descrição: Um banco de dados vetorial de código aberto da AI para recuperação e armazenamento eficientes de dados.

Documentação: https://documenter.getpostman.com/view/3827865/2saxjf7zxn

API URL: http: // localhost: 8000

URL da Web: http: // localhost: 8501

Exigência

• Instale o Python (v3.12)
• Instale o ollama llama (v3)

Testando e execute

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py