Build RAGAI Download - Build RAGAI Source Code Download

Build RAGAI

Komponen pihak ketiga

1.0.0

Unduh

Build-Ragai

Keterangan

Proyek ini berupaya mengajari Anda cara membangun aplikasi Python dengan fungsionalitas AI generatif dengan menggunakan perpustakaan Langchain dan Transformers.

Meskipun ada bagian untuk OpenAI, sebagian besar kode yang sebelumnya ada telah digunakan kembali dan diintegrasikan dengan perpustakaan Langchain atau Transformers. Proyek ini mencakup cuplikan kode, contoh paket, dan buku catatan Jupyter yang dapat Anda ungkapkan, salin, atau pelajari dari masing -masing.

Jika Anda baru membangun aplikasi bertenaga AI, saya sarankan Anda mulai dengan bermain dengan dan mengeksekusi kode di buku catatan Langchain. Melihat kode yang sedang beraksi, mengeditnya sendiri, dan secara kreatif melakukan brainstorming ide -ide baru adalah cara terbaik untuk belajar.

Daftar isi

Di bawah ini Anda akan menemukan tautan ke, dan deskripsi, bagian dari proyek ini untuk navigasi yang mudah.

Ini readme:

Memulai
Instalasi
Lisensi

Langchain:

Cuplikan Kode: Di sini Anda akan menemukan komponen Python pluggable.
- bufferWindow_Memory.py: Komponen memori sederhana yang dapat digunakan dalam percakapan Langchain.
- chatopenai.py: Komponen LLM sederhana yang dapat digunakan untuk mengembalikan pesan obrolan.
- MULTI_QUERYVECTOR_RETRIEVAL.PY: Komponen retriever canggih yang menggabungkan kekuatan pengambilan multi-kueri dan multi-vektor.
Notebook: Di sini Anda akan menemukan buku catatan Jupyter yang memandu Anda melalui penggunaan banyak kelas Langchain yang berbeda.
- MergedDataLoader: Pelajari cara menyematkan dan menanyakan beberapa sumber data melalui MergedDataLoader . Dalam buku catatan ini, kami belajar cara mengkloning repositori gitub dan mengikis dokumentasi web sebelum menanamkannya ke toko vektor yang kemudian kami gunakan sebagai retriever. Pada akhirnya, Anda harus merasa nyaman menggunakan sumber apa pun sebagai konteks dalam proyek RAG Anda sendiri.
- Alat Kustom: Pelajari cara membuat dan menggunakan alat khusus di agen Langchain.
- Pembuatan gambar dan Captioning + Video Generation: Belajar membuat agen yang memilih alat generatif untuk digunakan berdasarkan prompt Anda. Contoh ini dimulai dengan agen yang menghasilkan gambar setelah memperbaiki prompt pengguna.
- Langssmith Walkthrough: Pelajari cara menggunakan penelusuran Langssmith dan tarik petunjuk dari hub Langssmith.
- Retrieval Augmented Generation: Mulailah dengan pengambilan generasi augmented untuk meningkatkan kinerja LLM Anda.
- MongoDB Rag: Lakukan Pencarian Kesamaan, Penyaringan Metadata, dan Permintaan-Permintaan dengan MongoDB.
- Pinecone dan Chromadb: Panduan yang lebih mendasar tetapi menyeluruh dalam melakukan pembangkitan augmented pengambilan dengan dua toko vektor yang berbeda.
- FAISS DAN HUGGINGFACEHUB: Pelajari cara menggunakan indeks FAISS untuk pencarian kesamaan dengan embeddings huggingfaceHub. Contoh ini adalah opsi ramah privasi, karena semuanya berjalan secara lokal. Tidak diperlukan GPU!
- RunNables and Chains (bahasa ekspresi langchain): Pelajari perbedaan dan cara menggunakan runnables dan rantai di langchain. Di sini Anda akan menyelam jauh ke dalam spesifik mereka.
Contoh ujung ke ujung: Di sini Anda akan menemukan skrip yang dibuat untuk bekerja di luar kotak.
- Rag With Agents: Belajar menggunakan agen untuk kain.
  - StreamLit Chatbot: Chatbot streamlit sederhana menggunakan OpenAi.
  - Directory Loader: Gunakan kelas DirectoryLoader untuk memuat file untuk kueri.
  - PYPDF Directory Loader: Gunakan kelas PypdfDirectoryLoader untuk memuat file untuk kueri.
  - Facebook AI Kesamaan Pencarian: Gunakan kelas FacebookAISimilaritySearch untuk memuat file untuk kueri.
  - VectorStore Rag: Pelajari cara menggunakan VectorStores di Langchain.
  - Pinecone: Gunakan Pinecone Vector Database "Index" sebagai retriever dan mengobrol dengan dokumen Anda.

Openai:

Cuplikan Kode: Di sini Anda akan menemukan cuplikan kode menggunakan pustaka Python Openai.
- Teks untuk berbicara: Gunakan API Whisper untuk menghasilkan pidato dari teks.
Notebook: Di sini Anda akan menemukan buku catatan Jupyter yang menunjukkan kepada Anda cara menggunakan Perpustakaan Openai Python.
- Retrieval Augmented Generation: Mulailah dengan pengambilan generasi augmented dan pinecone untuk meningkatkan kinerja LLM Anda.

Transformers:

Cuplikan Kode: Di sini Anda akan menemukan cuplikan kode menggunakan Perpustakaan Transformers Python.
- Dolphin Mixtral: Fungsi sederhana untuk menghasilkan teks menggunakan pipeline .
Notebook: Di sini Anda akan menemukan buku catatan Jupyter yang menunjukkan kepada Anda cara menggunakan Perpustakaan Transformers Python.
- Pengenalan Pidato Otomatis: Transkripsi Pidato Menggunakan Whisper-V3 dalam demo gradio.
Paket: Di sini Anda akan menemukan aplikasi CLI.
- Transkripsi audio:
  - MicTranscription: Transkripsi audio menggunakan mikrofon.
  - Penciptaan Tugas: Menghasilkan tugas berdasarkan audio yang ditranskripsikan.
- Latih dengan Accelerate: Fine tune model klasifikasi urutan menggunakan Accelerate untuk membuat segalanya berjalan lebih cepat.

Memulai

Instalasi

Eksekusi dan Pengujian Kode Lokal

Proyek ini dikembangkan menggunakan PDM. Anda dapat menginstal PDM menggunakan pip :

Mulailah dengan menavigasi ke direktori root proyek ini, lalu jalankan:

pip install -U pdm

Maka Anda harus menginstal dependensi menggunakan PDM:

pdm install

Perintah ini akan menciptakan lingkungan virtual di .venv dan menginstal dependensi di lingkungan itu. Jika Anda menggunakan MacOS atau Linux, Anda dapat menjalankan source .venv/bin/activate untuk mengaktifkan lingkungan. Jika tidak, Anda dapat menjalankan perintah .venv/Scripts/activate atau .venv/Scripts/activate.ps1 untuk mengaktifkan lingkungan.

Dengan menggunakan lingkungan virtual, kami menghindari silang mencemari lingkungan Python global kami.

Setelah lingkungan virtual kita diatur, kita perlu memilihnya sebagai kernel kita untuk buku catatan Jupyter. Jika Anda berada di vscode, Anda dapat melakukan ini di kanan atas notebook. Jika Anda menggunakan IDE yang berbeda, Anda harus mencari bantuan pengaturan online.

Saat memilih kernel, pastikan Anda memilih salah satu yang terletak di dalam direktori .venv , dan bukan lingkungan Python global.

Uji buku catatan pertama Anda

Jika Anda benar -benar baru dalam membangun aplikasi bertenaga AI dengan akses ke data eksternal, secara khusus pengambilan generasi augmented, lihat buku catatan Rag Basics. Ini adalah buku catatan yang paling mudah, dan konsep -konsepnya dibangun di atas setiap buku catatan 'kain' lainnya.