sanguozhi llm

Sanguzhi-llm

Sanguzhi-llm

Источник данных:三國志,三國演義,三國志十遊戲

Этот проект направлен на создание текста с использованием модели Ollama Llama 3 с интегрированными встроениями и векторной базой данных.

Модели и инструменты:

Модель LLM: digimonster/llama3-chinese-response

Цель: генерирует ответы в китайских иероглифонах.

Модель встраивания: shaw/dmeta-embedding-zh

Цель: предоставляет китайские символы.

Векторная база данных: chromadb

Описание: Ай-ненужная база данных векторной вектора с открытым исходным кодом для эффективного поиска и хранения данных.

Документация: https://documenter.getpostman.com/view/3827865/2saxjf7zxn

URL API: http: // localhost: 8000

Веб -URL: http: // localhost: 8501

Требование

• Установите Python (v3.12)
• Установите Ollama Llama (V3)

Тестирование и запустить

// install dependencies
$ cd packages/api
$ pip install -r requirements.txt

// pull llm model
$ ollama pull digimonster/llama3-chinese-response

// pull embedding model
$ ollama pull shaw/dmeta-embedding-zh

// seed chromadb
$ cd packages/api
$ python seed_chromadb.py

// run ollama
$ cd packages/api
$ sh run-ollama.sh

// run in dev
$ cd packages/api
$ fastapi dev main.py

// run in prod
$ cd packages/api
$ fastapi run main.py
or
$ uvicorn main:app --host 0.0.0.0 --port 80

// install dependencies
$ cd packages/web
$ pip install -r requirements.txt

// open sanguozhi_llm web
$ streamlit run sanguozhi_llm.py