RAG Retrieval Augmented Generation

Rag - Retrieval Augmented Generation

Gunakan Watsonx untuk menanggapi pertanyaan bahasa alami menggunakan pendekatan RAG

Buku catatan ini berisi langkah -langkah dan kode untuk menunjukkan dukungan dari pengambilan generasi auglumed di watsonx.ai. Ini memperkenalkan perintah untuk pengambilan data, pembangunan basis pengetahuan & kueri, dan pengujian model.

Tujuan

Gunakan model LLM, Langchain dan Milvus untuk membuat sistem pengambilan augmented generasi (RAG). Ini akan memungkinkan kami untuk mengajukan pertanyaan tentang dokumen kami (yang tidak termasuk dalam data pelatihan), tanpa memalsukan model bahasa besar (LLM). Saat menggunakan RAG, jika Anda diberi pertanyaan, Anda terlebih dahulu melakukan langkah pengambilan untuk mengambil dokumen yang relevan dari database khusus, database vektor tempat dokumen -dokumen ini diindeks.

Retrieval Augmented Generation (RAG) adalah pola serbaguna yang dapat membuka sejumlah kasus penggunaan yang membutuhkan mengingat kembali informasi faktual, seperti menanyakan basis pengetahuan dalam bahasa alami.

Definisi:

• LLM - Model Bahasa Besar
• Langchain - Kerangka kerja yang dirancang untuk menyederhanakan pembuatan aplikasi menggunakan LLMS
• Database Vektor - Basis data yang mengatur data melalui vektor dimensi tinggi
• Milvus - Database Vektor
• Rag - Retrieval Augmented Generation (lihat di bawah ini detail lebih lanjut tentang Rags)

Apa itu sistem pengambilan augmented generasi (RAG)?

Model Bahasa Besar (LLM) telah membuktikan kemampuan mereka untuk memahami konteks dan memberikan jawaban yang akurat untuk berbagai tugas NLP, termasuk ringkasan, T&J, ketika diminta. Meskipun dapat memberikan jawaban yang sangat baik untuk pertanyaan tentang informasi yang mereka latih, mereka cenderung berhalusinasi ketika topiknya adalah tentang informasi yang mereka lakukan "tidak tahu", IE tidak termasuk dalam data pelatihan mereka. Pengambilan generasi augmented menggabungkan sumber daya eksternal dengan LLMS. Oleh karena itu, dua komponen utama kain adalah retriever dan generator.

Bagian retriever dapat digambarkan sebagai sistem yang dapat menyandikan data kami sehingga dapat dengan mudah mengambil bagian yang relevan setelah menanyakannya. Pengkodean dilakukan dengan menggunakan embeddings teks, yaitu model yang dilatih untuk membuat representasi vektor informasi. Opsi terbaik untuk mengimplementasikan retriever adalah database vektor. Sebagai database vektor, ada beberapa opsi, baik produk open source atau komersial. Beberapa contoh adalah Chromadb, Mevius, Faiss, Pinecone, Weaviate. Opsi kami di notebook ini akan menjadi contoh lokal ChromadB (persisten).

Untuk bagian generator, opsi yang jelas adalah LLM. Dalam buku catatan ini kami akan menggunakan model Llama V2 yang dikuantisasi, dari koleksi Kaggle Model.

Orkestrasi Retriever dan Generator akan dilakukan dengan menggunakan Langchain. Fungsi khusus dari Langchain memungkinkan kami untuk membuat penerima-generator dalam satu baris kode.

Dalam bentuknya yang paling sederhana, Rag membutuhkan 3 langkah:

• Indeks Pengetahuan Basis Bagian (sekali)
• Ambil bagian yang relevan dari basis pengetahuan (untuk setiap permintaan pengguna)
• Hasilkan respons dengan memberi makan bagian yang diambil ke dalam model bahasa yang besar (untuk setiap permintaan pengguna)

Data:

Basis Pengetahuan:

690.000 kata -kata bernilai teks yang dibersihkan dari Wikipedia.

Dataset melatih dan menguji:

Ada tiga file pertanyaan, satu untuk setiap tahun siswa: S08, S09, dan S10.

File "quesanswerpairs.txt" berisi pertanyaan dan jawaban. Kolom dalam file ini adalah sebagai berikut:

• Articletitle adalah nama artikel Wikipedia dari mana pertanyaan dan jawaban awalnya datang.
• Pertanyaannya adalah pertanyaannya.
• Jawabannya adalah jawabannya.
• Kesulitan dari Perjanjian adalah peringkat kesulitan yang ditentukan untuk pertanyaan seperti yang diberikan kepada penulis pertanyaan.
• Kesulitan dari Air adalah peringkat kesulitan yang ditugaskan oleh individu yang mengevaluasi dan menjawab pertanyaan, yang mungkin berbeda dari kesulitan dalam bidang 4.
• ArticleFile adalah nama file dengan artikel yang relevan.

Pertanyaan yang dinilai miskin dibuang dari kumpulan data ini.

Sering ada beberapa baris dengan pertanyaan yang sama, yang muncul jika pertanyaan -pertanyaan itu dijawab oleh banyak orang. https://www.kaggle.com/rtatman/questionanswer-dataset