llm ollama llamaindex bootstrap

Aplikasi Bootstrap Generasi (RAG) Retrieval-Agusted

Dirancang untuk penggunaan offline, template aplikasi RAG ini didasarkan pada tutorial Andrej Baranovskij. Ini menawarkan titik awal untuk membangun pipa kain lokal Anda sendiri, terlepas dari API online dan layanan LLM berbasis cloud seperti OpenAI. Ini memberdayakan pengembang untuk bereksperimen dan menggunakan aplikasi Rag di lingkungan yang terkontrol.

Aplikasi FullStack UI yang dihasilkan menggunakan create-llama dan disesuaikan untuk proyek ini dapat ditemukan di https://github.com/tyrell/llm-ollama-llamaindex-bootstrap-ui

Posting blog saya memberikan lebih banyak konteks, motivasi, dan pemikiran di balik proyek -proyek ini.

Tumpukannya

Aplikasi RAG ini berjalan sepenuhnya offline, memanfaatkan CPU lokal Anda untuk menghasilkan/mengambil/peringkat respons tanpa memerlukan akses internet. Penyebaran kain ini hanya bergantung pada CPU lokal Anda untuk perhitungan. Harap dicatat bahwa memproses kumpulan data besar atau menggunakan model intensif sumber daya dapat memperlambat kinerja.

1. Model Bahasa Besar - Kami menggunakan Ollama (https://ollama.ai/) untuk menjalankan LLM kami secara lokal. Setiap model yang didukung oleh Ollama dapat dikonfigurasi untuk digunakan menggunakan file config.yml yang ditemukan dalam aplikasi ini.
2. Vector Store - Kami menggunakan Weaviate (https://weaviate.io) sebagai toko vektor. Kami menjalankan Weaviate sebagai wadah Docker. URL instance Weaviate dapat dikonfigurasi menggunakan file config.yml.
3. Indeks - Kami menggunakan llamaindex (https://www.llamaindex.ai) sebagai inti dari aplikasi rag ini bertindak sebagai indeks struktur data pribadi kami. Kode sampel yang disediakan oleh templat memasukkan file ke dalam indeks.
4. Vector Embeddings - Kami menggunakan Langchain (https://www.langchain.com) dan HuggingFace (https://huggingface.co) untuk mempertahankan model penyematan lokal.

---

QuickStart

1. Jalankan Weaviate Local Vector Store dengan Docker:

 docker compose up -d

2. Pasang persyaratan Python:

 pip install -r requirements.txt

3. Instal ollama dan tarik model LLM yang disukai yang ditentukan dalam config.yml

4. Salin teks file pdf ke folder data

5. Jalankan skrip, untuk mengonversi teks ke vektor embeddings dan simpan di Weaviate:

 python ingest.py

1. Jalankan main.py untuk memproses data dengan pipa rag LLM yang ditentukan dalam pipeline.py dan kembalikan jawabannya:

 python main.py "Who are you?"

Menjawab:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

Anda dapat menemukan lebih banyak prompt di prompt.txt untuk menguji aplikasi template. Setelah Anda membaca basis kode, memperluas kain ke kebutuhan spesifik Anda.

Lisensi

Apache 2.0

~ Tyrell Perera