Repositori ini menyediakan kumpulan notebook rekayasa AI generatif yang menunjukkan cara menggunakan Amazon Sagemaker Jumpstart SDK untuk menyesuaikan model bahasa besar (LLM). Notebook menunjukkan menggunakan varian model Falcon bagaimana menerapkan tingkat dasar kustomisasi inferensi seperti: strategi decoding, teknik yang diminta, dan generasi pengambilan-pengambilan. Notebook ini dirancang agar mudah digunakan dan diikuti, menjadikannya sumber yang baik untuk belajar tentang penyesuaian inferensi LLM.
Notebook studio Amazon Sagemaker berikut tersedia di repositori ini:
LLM-Custom-Decoding-Falcon40B-G5.ipynb menunjukkan cara menghasilkan teks menggunakan strategi decoding yang berbeda dengan Amazon Sagemaker Jumpstart SDK dan Model Falcon-40B-instruct.LLM-Custom-Prompting-Falcon40B.ipynb menunjukkan cara menghasilkan teks menggunakan teknik rekayasa dengan Amazon Sagemaker Jumpstart SDK dan model Falcon-40B.LLM-Custom-RAG-Kendra-Falcon40B.ipynb menunjukkan cara menggunakan Sagemaker dan boto3 SDK untuk menghasilkan teks menggunakan pola generasi pengambilan (RAG) pengambilan. Notebook ini mengimplementasikan pencarian semantik menggunakan layanan pencarian Amazon Kendra Enterprise. Model bahasa yang digunakan untuk pembuatan teks adalah falcon-40b-instruct.Untuk membuka buku catatan Jupyter menggunakan Amazon Sagemaker, pertimbangkan dua langkah di bawah ini:
Lihat berkontribusi untuk informasi lebih lanjut.
Perpustakaan ini dilisensikan di bawah lisensi MIT-0. Lihat file lisensi.