advanced rag router with amazon bedrock

Bangun asisten berbasis router kain canggih dengan Amazon Bedrock

Repositori ini berisi sampel kode yang akan memungkinkan peserta belajar cara menggunakan arsitektur berbasis router augmented generasi (RAG) dengan Amazon Bedrock dan Amazon OpenSearch Serverless (AOSS) untuk dengan cepat membangun asisten yang aman yang menggunakan informasi paling mutakhir untuk berkomunikasi dengan pengguna. Peserta juga akan belajar bagaimana asisten ini akan menggunakan pengambilan informasi yang dipandu dialog untuk menanggapi pengguna.

Ringkasan

Amazon Bedrock adalah layanan yang dikelola sepenuhnya yang menawarkan pilihan model yayasan berkinerja tinggi (FMS) dari perusahaan AI terkemuka yang dapat diakses melalui API tunggal, bersama dengan serangkaian kemampuan yang luas yang Anda butuhkan untuk membangun aplikasi AI generatif, menyederhanakan pengembangan sambil mempertahankan privasi dan keamanan.

Model Bahasa Besar (LLM) adalah jenis model fondasi yang dapat menggunakan langauge alami sebagai input, dengan kemampuan untuk memproses dan memahaminya, dan menghasilkan bahasa alami sebagai output. LLMS juga dapat melakukan tugas -tugas seperti klasifikasi, ringkasan, penyederhanaan, pengenalan entitas, dll.

LLM biasanya dilatih secara offline dengan data yang tersedia sampai titik waktu itu. Akibatnya, LLM tidak akan memiliki pengetahuan tentang dunia setelah tanggal itu. Selain itu, LLM dilatih pada korpora domain yang sangat umum, membuatnya kurang efektif untuk tugas khusus domain. Dan kemudian, LLM memiliki kecenderungan untuk berhalusinasi di mana model menghasilkan teks yang salah, tidak masuk akal, atau tidak nyata. Menggunakan mekanisme pengambilan augment generasi (RAG) dapat membantu mengurangi semua masalah ini. Arsitektur Rag melibatkan pengambilan data yang sangat cocok dengan teks di prompt pengguna, dari sumber data eksternal, dan menggunakannya untuk menambah prompt sebelum mengirim ke LLM. Augmentasi prompt ini akan memberikan konteks yang dapat digunakan LLM untuk menanggapi prompt.

Ketika ada sumber data mulitple, ada kebutuhan untuk merutekan permintaan pengembalian ke sumber data yang sesuai sebelum melakukan pengambilan yang sebenarnya. Ini adalah pola router kain.

Repositori ini berisi kode yang akan memandu Anda melalui proses membangun asisten berbasis router canggih menggunakan model bahasa besar (LLM) yang di -host di Amazon Bedrock dan menggunakan basis pengetahuan untuk Amazon Bedrock untuk vektorisasi, menyimpan, dan mengambil data melalui pencarian semantik. Amazon OpenSearch Serverless akan digunakan sebagai indeks vektor.

Untuk memulai

1. Pilih akun AWS untuk digunakan dan pastikan untuk membuat semua sumber daya di akun itu.
2. Identifikasi wilayah AWS yang memiliki Amazon Bedrock dengan antropik Claude 3 dan Titan Embeddings G1 - model teks.
3. Di wilayah itu, buat ember Amazon S3 yang baru atau gunakan pilihan Anda. Pastikan bahwa ember ini dapat dibaca oleh AWS Cloudformation.
4. Buat file lapisan Lambda bernama py312_opensearch-py_requests_and_requests-aws4auth.zip menggunakan prosedur berikut dan mengunggahnya ke ember Amazon S3 yang sama seperti pada langkah 3.
   • Di windows 10 atau lebih:
     1. Pastikan Python 3.12 dan PIP diinstal dan diatur dalam variabel jalur pengguna.
     2. Unduh 7-Zip dan instal di C:/Program Files/7-Zip/ .
     3. Buka prompt perintah windows.
     4. Buat direktori dan cd baru ke dalamnya.
     5. Jalankan lambda_layer_file_create.bat dari dalam direktori itu.
     6. Ini akan membuat file lapisan Lambda bernama py312_opensearch-py_requests_and_requests-aws4auth.zip .
   • Di Linux:
     1. Pastikan Python 3.12 dan PIP diinstal dan diatur dalam variabel jalur pengguna.
     2. Buka prompt perintah Linux.
     3. Buat direktori dan cd baru ke dalamnya.
     4. Jalankan lambda_layer_file_create.sh dari dalam direktori itu.
     5. Ini akan membuat file lapisan Lambda bernama py312_opensearch-py_requests_and_requests-aws4auth.zip .
5. Ambil Template AWS Cloudformation yang disediakan Rag-Router-Cfn.yaml dan perbarui parameter berikut,
   • Deploymentartifactss3bucketname - Atur ini ke nama Amazon S3 Bucket dari langkah 3.
6. Buat tumpukan AWS CloudFormation dengan template yang diperbarui.
7. Buka buku catatan Jupyter bernama Rag-Router.ipynb dengan menavigasi ke konsol instance Amazon Sagemaker Notebook dan mengklik tautan Open Jupyter pada instance bernama Rag-Router-Instance .

Struktur repositori

Repositori ini berisi

• Notebook Jupyter untuk memulai.

• Satu set fungsi pembantu untuk notebook

• Diagram arsitektur yang menunjukkan berbagai komponen yang digunakan dalam sesi ini bersama dengan interaksi mereka.

Keamanan

Lihat berkontribusi untuk informasi lebih lanjut.

Lisensi

Perpustakaan ini dilisensikan di bawah lisensi MIT-0. Lihat file lisensi.