rag with knowledge base management

RAG-WITH-Knowledge-Base-Management

Aplikasi RAG (Retrieval-Augmented Generation) terintegrasi dengan asisten suara dan sistem manajemen basis pengetahuan.

Daftar isi

• Perkenalan
• Pratinjau
• Penyebaran
• Teknologi
  • Langchain
  • Model Openai
  • Deeplake Vector Store
  • Apify
  • Streamlit
• Instalasi & Penggunaan Lokal
• Kunci API
• Lisensi
• Referensi

Perkenalan

Aplikasi ini mengintegrasikan model RAG (Retrieval-Augmented Generation) dengan asisten suara, yang memungkinkan pengguna untuk berinteraksi dengan sistem melalui input suara atau teks. Selain itu, ini termasuk sistem manajemen basis pengetahuan, memungkinkan pengguna untuk menambah, melihat, dan menghapus dokumen yang digunakan oleh model RAG melalui URL.

Pratinjau

RAG-WITH-Knowledge-Base-Management-720.mp4

Penyebaran

Aplikasi ini digunakan pada Share Streamlit dan dapat diakses di URL berikut:

• https://rag-with-nowledge-base-management.streamlit.app

Teknologi

Langchain

Langchain adalah kerangka kerja yang dirancang untuk membangun aplikasi yang memanfaatkan model bahasa. Ini menyediakan alat untuk menghubungkan model bahasa ke sumber data eksternal, memungkinkan interaksi yang lebih kompleks dan kontekstual.

Model Openai

Aplikasi ini menggunakan beberapa model OpenAI untuk memberikan kemampuan percakapan dan pengambilan dokumen:

• Model obrolan ( default: gpt-3.5-turbo ) untuk menghasilkan tanggapan berdasarkan kueri pengguna dan konteks percakapan sebelumnya.
• Whisper API ( Default: whisper-1 ) untuk pengenalan ucapan otomatis untuk menuliskan input audio dari pengguna.

Selain itu, cohere-ranker ( default: rerank-english-v2.0 ) untuk meningkatkan relevansi dokumen yang diambil dengan menandatangani ulang mereka berdasarkan relevansinya dengan kueri.

Deeplake Vector Store

Deeplake digunakan sebagai toko vektor untuk menyimpan dan mengambil embeddings dokumen. Ini memfasilitasi pencarian kesamaan yang efisien dan pengambilan dokumen yang relevan dari basis pengetahuan.

Apify

Apify adalah platform pengikis dan otomatisasi web yang memungkinkan ekstraksi data dari situs web. Ini digunakan untuk mengikis dokumen dari URL yang disediakan oleh pengguna dan menyimpannya di basis pengetahuan.

Streamlit

StreamLit adalah kerangka kerja aplikasi open-source yang memungkinkan pembuatan aplikasi web khusus untuk pembelajaran mesin dan proyek sains data dengan upaya minimal. Ini digunakan di sini untuk membangun antarmuka pengguna aplikasi.

Instalasi & Penggunaan Lokal

Untuk menginstal aplikasi secara lokal, Anda harus memasang Docker di mesin Anda. Kemudian, jalankan perintah berikut:

1. Bangun gambar Docker:

docker build -t rag-with-knowledge-base-management .

2. Jalankan wadah Docker:

docker run -p 8501:8501 rag-with-knowledge-base-management

Aplikasi sekarang harus dapat diakses di http: // localhost: 8501.

Kunci API

Pastikan untuk menambahkan tombol API Anda ke file .env sebelum menjalankan aplikasi. Kunci berikut di dalam .env.example perlu diisi:

• OPENAI_API_KEY - Kunci API OpenAI
• COHERE_API_KEY - Kunci API cohere
• APIFY_API_TOKEN - APIFY API Token
• ACTIVELOOP_TOKEN - Token ActiveLoop API
• ACTIVELOOP_ORG_ID - ID Organisasi ActiveLoop

Lisensi

Didistribusikan di bawah lisensi Apache 2.0 open-source. Lihat LICENSE untuk informasi lebih lanjut.

Referensi

Repositori berikut berguna dalam membangun proyek ini:

• https://github.com/peterw/jarvisbase
• https://github.com/gustavz/datachad