rag with amazon opensearch serverless and sagemaker Unduh - Unduh Kode Sumber Sumber rag with amazon opensearch serverless and sagemaker

rag with amazon opensearch serverless and sagemaker

Kode sumber lainnya

1.0.0

Unduh

QA dengan LLM dan RAG (Retrieval Augmented Generation)

Proyek ini adalah aplikasi yang menjawab pertanyaan dengan Model Bahasa Besar (LLM) dan Layanan Serverless Amazon OpenSearch. Aplikasi menggunakan pendekatan RAG (Retrieval Augmented Generation) mengambil informasi yang paling relevan dengan permintaan pengguna dari basis pengetahuan atau konten perusahaan, mengikatnya sebagai konteks bersama dengan permintaan pengguna sebagai prompt, dan kemudian mengirimkannya ke LLM untuk mendapatkan respons Genai.

LLMS memiliki batasan di sekitar jumlah kata maksimum untuk prompt input, oleh karena itu memilih bagian yang tepat di antara ribuan atau jutaan dokumen di perusahaan, memiliki dampak langsung pada akurasi LLM.

Dalam proyek ini, Amazon OpenSearch Layanan tanpa server digunakan untuk basis pengetahuan.

Arsitektur keseluruhannya seperti ini:

Alur kerja secara keseluruhan

Menyebarkan tumpukan CDK (untuk informasi lebih lanjut, lihat di sini).
- Titik akhir Sagemaker untuk pembuatan teks.
- Titik akhir Sagemaker untuk menghasilkan embeddings.
- Amazon OpenSearch Tanpa Server untuk menyimpan embeddings.
Buka Jupyterlab di Sagemaker Studio dan kemudian buka terminal baru.
Jalankan perintah berikut di terminal untuk mengkloning repositori kode untuk proyek ini:
```
 git clone https://github.com/aws-samples/rag-with-amazon-opensearch-serverless.git
```
Buka data_ingestion_to_opensearch_serverless.ipynb notebook dan jalankan. (Untuk informasi lebih lanjut, lihat di sini)
Jalankan Aplikasi Streamlit. (Untuk informasi lebih lanjut, lihat di sini)

Referensi

Bangun pertanyaan yang kuat menjawab bot dengan Amazon Sagemaker, Amazon OpenSearch Service, Streamlit, dan Langchain (2023-05-25)
Gunakan Model Yayasan Hak Milik dari Amazon Sagemaker Jumpstart di Amazon Sagemaker Studio (2023-06-27)
Bangun Aplikasi Streamlit di Amazon Sagemaker Studio (2023-04-11)
Dengan cepat membangun aplikasi AI generatif akurasi tinggi pada data perusahaan menggunakan Amazon Kendra, Langchain, dan model bahasa besar (2023-05-03)
- (GitHub) Sampel Retriver Amazon Kendra
Pertanyaan menjawab menggunakan pengambilan generasi augmented dengan model yayasan di Amazon Sagemaker Jumpstart (2023-05-02)
Kemampuan database vektor Layanan Amazon OpenSearch dijelaskan
Langchain - Kerangka kerja untuk mengembangkan aplikasi yang ditenagai oleh model bahasa.
StreamLit - Cara yang lebih cepat untuk membangun dan berbagi aplikasi data
Tingkatkan relevansi pencarian dengan ML di Amazon OpenSearch Service Workshop - Modul 7. Pengambilan Generasi Augmented
Rag-dengan-Amazon-Kendra-Aplikasi Penjawab Pertanyaan dengan Model Bahasa Besar (LLM) dan Amazon Kendra
Rag-with-Amazon-Postgresql-using-pgvector-Aplikasi Penjawab Pertanyaan dengan Model Bahasa Besar (LLM) dan Amazon Aurora PostgreSQL
Rag-with-Amazon-Opensearch-Aplikasi Penjawab Pertanyaan dengan Model Bahasa Besar (LLM) dan Layanan Amazon OpenSearch dengan Langchain
Rag-with-Haystack-and-Amazon-Opensearch-Aplikasi Penjawab Pertanyaan dengan Model Bahasa Besar (LLM) dan Layanan Amazon OpenSearch dengan Haystack