generative_ai_with_langchain

AI generatif dengan langchain, edisi pertama

Ini adalah repositori kode untuk AI generatif dengan Langchain, edisi pertama, yang diterbitkan oleh Packt.

Bangun aplikasi Model Bahasa Besar (LLM) dengan Python, ChatGpt, dan LLM lainnya

Ben Auffarth

Tentang buku itu

ChatGPT dan model GPT oleh Openai telah membawa revolusi tidak hanya dalam cara kita menulis dan meneliti tetapi juga bagaimana kita dapat memproses informasi. Buku ini membahas fungsi, kemampuan, dan keterbatasan sistem obrolan yang mendasari LLMS, termasuk Chatgpt dan Bard. Ini juga menunjukkan, dalam serangkaian contoh praktis, bagaimana menggunakan kerangka kerja Langchain untuk membangun aplikasi LLM yang siap-produksi dan responsif untuk tugas-tugas mulai dari dukungan pelanggan hingga bantuan pengembangan perangkat lunak dan analisis data-menggambarkan utilitas luas LLM dalam aplikasi dunia nyata.

Buka potensi penuh LLM dalam proyek Anda saat Anda menavigasi melalui panduan tentang penyempurnaan, rekayasa cepat, dan praktik terbaik untuk penyebaran dan pemantauan di lingkungan produksi. Apakah Anda sedang membangun alat penulisan kreatif, mengembangkan chatbots canggih, atau membuat alat bantu pengembangan perangkat lunak mutakhir, buku ini akan menjadi peta jalan Anda untuk menguasai kekuatan transformatif AI generatif dengan kepercayaan diri dan kreativitas.

Pembelajaran kunci

• Memahami llms, kekuatan dan keterbatasan mereka
• Pegang fundamental AI generatif dan tren industri
• Buat aplikasi LLM dengan langchain seperti sistem pertanyaan dan chatbots pertanyaan
• Memahami model transformator dan mekanisme perhatian
• Otomatis Analisis Data dan Visualisasi Menggunakan Panda dan Python
• Pegang rekayasa cepat untuk meningkatkan kinerja
• Fine-tune llms dan mengenal alat untuk melepaskan kekuatan mereka
• Menyebarkan LLMS sebagai layanan dengan langchain dan menerapkan strategi evaluasi
• Berinteraksi secara pribadi dengan dokumen yang menggunakan LLM open-source untuk mencegah kebocoran data

Catatan untuk pembaca

Terima kasih telah memilih "AI Generatif dengan Langchain"! Kami menghargai antusiasme dan umpan balik Anda.

Harap dicatat bahwa kami telah merilis versi buku yang diperbarui. Akibatnya, ada dua cabang berbeda untuk repositori ini:

• Utama - Ini adalah versi asli buku ini.
• Softupdate - Ini untuk pembaruan terbaru dari buku ini, sesuai dengan ver 0.1.13 dari Langchain.

Silakan merujuk ke versi yang Anda minati atau yang sesuai dengan versi buku Anda.

Unduh PDF gratis

Unduh PDF gratis

Jika Anda telah membeli versi cetakan terkini atau Kindle dari buku ini, Anda bisa mendapatkan versi PDF bebas DRM tanpa biaya. Cukup klik tautan untuk mengklaim PDF gratis Anda. Buku bebas

Kami juga menyediakan file PDF yang memiliki gambar berwarna dari tangkapan layar/diagram yang digunakan dalam buku ini di GraphicBundle

Komitmen

Pembaruan Kode: Komitmen kami adalah memberi Anda contoh kode yang stabil dan berharga. Sementara Langchain dikenal untuk pembaruan yang sering, kami memahami pentingnya menyelaraskan kode kami dengan perubahan terbaru. Repositori pendamping secara teratur diperbarui untuk diselaraskan dengan perkembangan Langchain.

Harapkan stabilitas: Untuk stabilitas dan kegunaan, repositori mungkin tidak cocok dengan setiap pembaruan langchain minor. Kami bertujuan untuk konsistensi dan keandalan untuk memastikan pengalaman yang mulus bagi pembaca kami.

Bagaimana cara menghubungi kami: Menemui masalah atau memiliki saran? Harap jangan ragu untuk membuka masalah, dan kami akan segera mengatasinya. Umpan balik Anda sangat berharga, dan kami di sini untuk mendukung Anda dalam perjalanan Anda dengan Langchain. Terima kasih atas pengertian dan pengkodean Anda!

Tahu lebih banyak di server Discord

Anda dapat terlibat dengan penulis dan pembaca lain di server Discord dan menemukan pembaruan dan diskusi terbaru di komunitas di Discord

Bab

Di tabel berikut, Anda dapat menemukan tautan ke direktori di repositori ini. Setiap direktori berisi tautan lebih lanjut ke skrip Python dan notebook. Anda juga dapat melihat tautan ke platform komputasi, di mana Anda dapat menjalankan notebook di repositori. Harap dicatat bahwa ada skrip dan proyek Python lainnya yang bukan buku catatan, yang akan Anda temukan di direktori bab.

Bab	Colab	Kaggle	Gradien	Lab Studio
Bab 1: Apa itu AI generatif?	Tidak ada contoh kode
Bab 2: Langchain untuk aplikasi LLM	Tidak ada contoh kode
Bab 3: Memulai dengan Langchain	direktori
Llms_chat_models_and_promppts.ipynb
Running_local_models.ipynb
customer_service_helper.ipynb
customer_service_use_case.ipynb
hf_hub_models.ipynb
peta-reduce.ipynb
tracking_costs.ipynb
wolfram_alpha.ipynb
Bab 4: Membangun Asisten Mampu	direktori
Information_extraction.ipynb
mitigating_hallucinations.ipynb
tool_use.ipynb
Bab 5: Membangun chatbot seperti chatgpt	direktori
embeddings.ipynb
memori.ipynb
moderation.ipynb
pdf_summary.ipynb
retrievers.ipynb
Bab 6: Mengembangkan Perangkat Lunak dengan AI Generatif	direktori
code_models.ipynb
code_understanding.ipynb
langchain_rag.ipynb
software_development.ipynb
Bab 7: LLMS untuk Ilmu Data	direktori
data_science.ipynb
Bab 8: Menyesuaikan LLM dan outputnya	direktori
fine_tuning.ipynb
Bab 9: AI generatif dalam produksi	direktori
Bab 10: Masa Depan Model Generatif	Tidak ada contoh kode

Persyaratan untuk buku ini

Daftar Perangkat Lunak dan Perangkat Keras

Ini adalah repositori pendamping untuk buku ini. Berikut adalah beberapa instruksi yang membantu diatur. Harap juga lihat Bab 3.

Semua bab bergantung pada Python.

Bab	Diperlukan perangkat lunak	Tautan ke perangkat lunak	Spesifikasi perangkat keras	OS diperlukan
Semua bab	Python 3.11	https://www.python.org/downloads/	Harus bekerja di komputer terbaru mana pun	Windows, MacOS, Linux (Any), MacOS, Windows

Harap dicatat bahwa Python 3.12 mungkin tidak berfungsi (lihat #11).

Lingkungan

Anda dapat menginstal lingkungan lokal Anda dengan Conda (disarankan) atau PIP. Konfigurasi lingkungan untuk conda, pip, dan puisi disediakan. Mereka semua telah diuji pada macOS. Harap perhatikan bahwa jika Anda memilih PIP saat Anda Instalasi, Anda mungkin memerlukan instalasi tambahan dependensi sistem.

Jika Anda memiliki masalah dengan lingkungan, silakan angkat masalah, di mana Anda menunjukkan kesalahan yang Anda dapatkan. Jika Anda merasa percaya diri, silakan buat permintaan tarik.

Di Windows, beberapa orang telah mengalami kesulitan dengan Conda dan Pip (karena Readline dan Ncurses). Jika itu yang terjadi pada Anda, silakan lihat WSL atau gunakan instalasi Docker. Beberapa orang di WinoDWs melaporkan bahwa mereka perlu menginstal alat pembuatan CPP visual. Bagaimanapun, jika Anda memiliki masalah dengan lingkungan, silakan angkat masalah, di mana Anda menunjukkan kesalahan yang Anda dapatkan. Jika Anda merasa yakin bahwa Anda menemukan peningkatan, silakan buat permintaan tarik.

Untuk PIP dan puisi, pastikan Anda menginstal Pandoc di sistem Anda. Di macOS gunakan minuman:

brew install pandoc

Di Ubuntu atau Debian Linux, gunakan Apt:

sudo apt-get install pandoc

Di Windows, Anda dapat menggunakan penginstal.

Conda

Ini adalah metode yang disarankan untuk menginstal dependensi. Pastikan Anda sudah menginstal Anaconda.

Pertama -tama buat lingkungan untuk buku yang berisi semua dependensi:

conda env create --file langchain_ai.yaml --force

Lingkungan Conda disebut langchain_ai . Anda dapat mengaktifkannya sebagai berikut:

conda activate langchain_ai 

Pip

PIP adalah alat manajemen ketergantungan default di Python. Dengan PIP, Anda harus dapat menginstal semua perpustakaan dari file persyaratan:

pip install -r requirements.txt

Jika Anda bekerja dengan koneksi internet yang lambat, Anda mungkin melihat batas waktu dengan PIP (ini juga dapat terjadi dengan Conda dan Pip). Sebagai solusi, Anda dapat meningkatkan pengaturan batas waktu seperti ini:

 export PIP_DEFAULT_TIMEOUT=100

Buruh pelabuhan

Ada file Docker untuk lingkungan juga. Ini menggunakan lingkungan Docker dan memulai buku catatan Ipython. Untuk menggunakannya, pertama -tama bangunlah, lalu jalankan:

docker build -t langchain_ai .
docker run -it -p 8888:8888 langchain_ai

Anda harus dapat menemukan buku catatan di browser Anda di http: // localhost: 8888.

Puisi

Pastikan Anda menginstal puisi. Di Linux dan MacOS, Anda harus dapat menggunakan file persyaratan:

poetry install --no-root

Ini harus mengambil file pyproject.toml dan menginstal semua dependensi.

Mengatur kunci API

Mengikuti praktik terbaik mengenai keselamatan, saya tidak melakukan kredensial saya untuk GitHub. Anda mungkin melihat pernyataan import yang menyebutkan file config.py , yang tidak termasuk dalam repositori. Modul ini memiliki metode set_environment() yang menetapkan semua kunci sebagai variabel lingkungan seperti ini:

Contoh config.py:

 import os

def set_environment ():
     os . environ [ 'OPENAI_API_KEY' ] = 'your-api-key-here'

Jelas, Anda akan menempatkan kredensial API Anda di sini. Bergantung pada integrasi (OpenAi, Azure, dll) Anda perlu menambahkan tombol API yang sesuai. Kunci API OpenAI adalah yang paling sering digunakan di semua kode.

Anda dapat menemukan detail lebih lanjut tentang kredensial API dan pengaturan dalam Bab 3 buku generatif AI dengan langchain.

Berkontribusi

Jika Anda menemukan sesuatu yang salah dengan buku catatan atau dependensi, jangan ragu untuk membuat permintaan tarik.

Jika Anda ingin mengubah spesifikasi ketergantungan Conda (file YAML), Anda dapat mengujinya seperti ini:

conda env create --file langchain_ai.yaml --force

Anda dapat memperbarui persyaratan PIP seperti ini:

pip freeze > requirements.txt

Pastikan Anda menyimpan dua cara untuk mempertahankan dependensi ini secara sinkron.

Kemudian pastikan, Anda menguji buku catatan di lingkungan baru untuk melihat bahwa mereka berjalan.

Validasi Kode

Saya telah menyertakan Makefile yang menyertakan instruksi untuk validasi dengan Flake8, Mypy, dan alat lainnya. Saya telah menjalankan mypy seperti ini:

make typecheck

Untuk menjalankan validasi kode di Ruff, silakan jalankan

ruff check . 

Mengenal penulis

Ben Auffarth Ben Auffarth adalah ilmuwan data full-stack dengan pengalaman kerja lebih dari 15 tahun. Dengan latar belakang dan Ph.D. Dalam ilmu saraf komputasi dan kognitif, ia telah merancang dan melakukan percobaan laboratorium basah pada kultur sel, menganalisis percobaan dengan terabyte data, menjalankan model otak pada superkomputer IBM dengan hingga 64 ribu core, membangun sistem produksi yang memproses ratusan dan ribuan transaksi per hari, dan model bahasa terlatih pada copus besar dari dokumen teks. Dia ikut mendirikan dan merupakan mantan presiden pembicara ilmu data, London.

Buku Terkait Lainnya

• Transformers untuk Pemrosesan Bahasa Alami dan Visi Komputer, Edisi Ketiga
• Membangun Aplikasi Bertenaga LLM, Edisi Pertama