generative_ai_with_langchain

Generative AI กับ Langchain ฉบับพิมพ์ครั้งแรก

นี่คือที่เก็บรหัสสำหรับ Generative AI กับ Langchain ฉบับพิมพ์ครั้งแรกเผยแพร่โดย Packt

สร้างแอพ Language Model (LLM) ขนาดใหญ่ด้วย Python, CHATGPT และ LLM อื่น ๆ

Ben Auffarth

เกี่ยวกับหนังสือเล่มนี้

CHATGPT และ GPT โมเดลโดย OpenAI ได้นำมาซึ่งการปฏิวัติไม่เพียง แต่ในวิธีที่เราเขียนและวิจัย แต่ยังรวมถึงวิธีที่เราสามารถประมวลผลข้อมูลได้ หนังสือเล่มนี้กล่าวถึงการทำงานความสามารถและข้อ จำกัด ของระบบแชทพื้นฐานของ LLMs รวมถึง Chatgpt และ Bard นอกจากนี้ยังแสดงให้เห็นว่าในชุดของตัวอย่างที่เป็นประโยชน์วิธีการใช้กรอบ Langchain เพื่อสร้างแอพพลิเคชั่น LLM ที่พร้อมใช้งานและตอบสนองต่องานตั้งแต่การสนับสนุนลูกค้าไปจนถึงความช่วยเหลือด้านการพัฒนาซอฟต์แวร์และการวิเคราะห์ข้อมูล

ปลดล็อกศักยภาพอย่างเต็มที่ของ LLMs ภายในโครงการของคุณในขณะที่คุณนำทางผ่านคำแนะนำเกี่ยวกับการปรับแต่งวิศวกรรมที่รวดเร็วและแนวทางปฏิบัติที่ดีที่สุดสำหรับการปรับใช้และการตรวจสอบในสภาพแวดล้อมการผลิต ไม่ว่าคุณจะกำลังสร้างเครื่องมือการเขียนเชิงสร้างสรรค์การพัฒนา chatbots ที่ซับซ้อนหรือการสร้างเครื่องช่วยในการพัฒนาซอฟต์แวร์ที่ทันสมัยหนังสือเล่มนี้จะเป็นแผนงานของคุณในการควบคุมพลังการเปลี่ยนแปลงของ AI กำเนิดด้วยความมั่นใจและความคิดสร้างสรรค์

การเรียนรู้ที่สำคัญ

• เข้าใจ LLMS จุดแข็งและข้อ จำกัด ของพวกเขา
• เข้าใจพื้นฐานของ AI และแนวโน้มอุตสาหกรรม
• สร้างแอพ LLM ด้วย langchain เช่นระบบตอบคำถามและ chatbots
• ทำความเข้าใจกับแบบจำลองหม้อแปลงและกลไกความสนใจ
• ทำให้การวิเคราะห์ข้อมูลและการสร้างภาพโดยอัตโนมัติโดยใช้แพนด้าและงูเหลือม
• เข้าใจวิศวกรรมที่รวดเร็วเพื่อปรับปรุงประสิทธิภาพ
• ปรับแต่ง LLMS และทำความรู้จักกับเครื่องมือในการปลดปล่อยพลังของพวกเขา
• ปรับใช้ LLMS เป็นบริการกับ Langchain และใช้กลยุทธ์การประเมินผล
• โต้ตอบกับเอกสารส่วนตัวโดยใช้ LLM แบบโอเพนซอร์ซเพื่อป้องกันการรั่วไหลของข้อมูล

หมายเหตุถึงผู้อ่าน

ขอบคุณที่เลือก "AI Generative กับ Langchain"! เราขอขอบคุณความกระตือรือร้นและข้อเสนอแนะของคุณ

โปรดทราบว่าเราได้เปิดตัวหนังสือเวอร์ชันที่อัปเดตแล้ว ดังนั้นจึงมีสองสาขาที่แตกต่างกันสำหรับที่เก็บนี้:

• หลัก - นี่คือเวอร์ชันดั้งเดิมของหนังสือ
• SoftUpdate - นี่คือการอัปเดตล่าสุดของหนังสือเล่มนี้ซึ่งสอดคล้องกับ Ver 0.1.13 ของ Langchain

โปรดดูเวอร์ชันที่คุณสนใจหรือตรงกับหนังสือเวอร์ชันของคุณ

ดาวน์โหลด PDF ฟรี

ดาวน์โหลด PDF ฟรี

หากคุณได้ซื้อหนังสือเล่มนี้หรือ Kindle เวอร์ชันที่ทันสมัยแล้วคุณสามารถรับเวอร์ชัน PDF ฟรี DRM ได้โดยไม่มีค่าใช้จ่าย เพียงคลิกที่ลิงค์เพื่อรับ PDF ฟรีของคุณ จองฟรี

นอกจากนี้เรายังมีไฟล์ PDF ที่มีภาพสีของภาพหน้าจอ/ไดอะแกรมที่ใช้ในหนังสือเล่มนี้ที่ GraphicBundle

ความมุ่งมั่น

การอัปเดตรหัส: ความมุ่งมั่นของเราคือให้ตัวอย่างรหัสที่มีความเสถียรและมีค่าแก่คุณ ในขณะที่ Langchain เป็นที่รู้จักสำหรับการอัปเดตบ่อยครั้งเราเข้าใจถึงความสำคัญของการจัดเรียงรหัสของเรากับการเปลี่ยนแปลงล่าสุด ที่เก็บสหายได้รับการปรับปรุงอย่างสม่ำเสมอเพื่อให้สอดคล้องกับการพัฒนาของ Langchain

คาดหวังความมั่นคง: เพื่อความมั่นคงและการใช้งานที่เก็บอาจไม่ตรงกับการอัปเดตเล็กน้อยของ Langchain เราตั้งเป้าหมายเพื่อความมั่นคงและความน่าเชื่อถือเพื่อให้แน่ใจว่าประสบการณ์ที่ราบรื่นสำหรับผู้อ่านของเรา

จะไปถึงเราได้อย่างไร: พบปัญหาหรือมีข้อเสนอแนะ? โปรดอย่าลังเลที่จะเปิดปัญหาและเราจะจัดการกับมันทันที ความคิดเห็นของคุณมีค่ามากและเราอยู่ที่นี่เพื่อสนับสนุนคุณในการเดินทางของคุณกับ Langchain ขอบคุณสำหรับความเข้าใจและการเขียนโค้ดที่มีความสุข!

รู้เพิ่มเติมเกี่ยวกับเซิร์ฟเวอร์ Discord

คุณสามารถมีส่วนร่วมกับผู้แต่งและผู้อ่านอื่น ๆ บนเซิร์ฟเวอร์ Discord และค้นหาการอัปเดตล่าสุดและการอภิปรายในชุมชนที่ Discord

บท

ในตารางต่อไปนี้คุณสามารถค้นหาลิงก์ไปยังไดเรกทอรีในที่เก็บนี้ แต่ละไดเรกทอรีมีลิงก์เพิ่มเติมไปยังสคริปต์ Python และสมุดบันทึก นอกจากนี้คุณยังสามารถดูลิงก์ไปยังแพลตฟอร์มการคำนวณซึ่งคุณสามารถเรียกใช้สมุดบันทึกในที่เก็บ โปรดทราบว่ามีสคริปต์ Python และโครงการอื่น ๆ ที่ไม่ใช่สมุดบันทึกซึ่งคุณจะพบในไดเรกทอรีบท

บท	การกิน	Kaggle	การไล่ระดับสี	ห้องปฏิบัติการสตูดิโอ
บทที่ 1: AI Generative คืออะไร?	ไม่มีตัวอย่างรหัส
บทที่ 2: Langchain สำหรับแอพ LLM	ไม่มีตัวอย่างรหัส
บทที่ 3: เริ่มต้นด้วย Langchain	ไดเรกทอรี
llms_chat_models_and_prompts.ipynb
running_local_models.ipynb
customer_service_helper.ipynb
customer_service_use_case.ipynb
hf_hub_models.ipynb
MAP-REDUCE.IPYNB
tracking_costs.ipynb
wolfram_alpha.ipynb
บทที่ 4: อาคารผู้ช่วยที่มีความสามารถ	ไดเรกทอรี
Information_extraction.ipynb
mitigating_hallucinations.ipynb
tool_use.ipynb
บทที่ 5: การสร้างแชทบ็อตอย่าง CHATGPT	ไดเรกทอรี
EMBEDDINGS.IPYNB
Memory.ipynb
กลั่นกรอง
pdf_summary.ipynb
Retrievers.ipynb
บทที่ 6: การพัฒนาซอฟต์แวร์ด้วย AI Generative	ไดเรกทอรี
code_models.ipynb
code_understanding.ipynb
langchain_rag.ipynb
ซอฟต์แวร์ _development.ipynb
บทที่ 7: LLMs สำหรับวิทยาศาสตร์ข้อมูล	ไดเรกทอรี
data_science.ipynb
บทที่ 8: ปรับแต่ง LLMS และเอาต์พุตของพวกเขา	ไดเรกทอรี
Fine_tuning.ipynb
บทที่ 9: การผลิต AI ในการผลิต	ไดเรกทอรี
บทที่ 10: อนาคตของแบบจำลองการกำเนิด	ไม่มีตัวอย่างรหัส

ข้อกำหนดสำหรับหนังสือเล่มนี้

รายการซอฟต์แวร์และฮาร์ดแวร์

นี่คือที่เก็บสหายสำหรับหนังสือเล่มนี้ นี่คือคำแนะนำบางประการที่ช่วยในการตั้งค่า โปรดดูบทที่ 3

ทุกบทพึ่งพา Python

บท	ต้องการซอฟต์แวร์	ลิงก์ไปยังซอฟต์แวร์	ข้อกำหนดฮาร์ดแวร์	จำเป็นต้องใช้ระบบปฏิบัติการ
ทุกบท	Python 3.11	https://www.python.org/downloads/	ควรทำงานกับคอมพิวเตอร์ล่าสุดใด ๆ	Windows, MacOS, Linux (ใด ๆ ), macOS, Windows

โปรดทราบว่า Python 3.12 อาจไม่ทำงาน (ดู #11)

สิ่งแวดล้อม

คุณสามารถติดตั้งสภาพแวดล้อมในพื้นที่ของคุณด้วย Conda (แนะนำ) หรือ PIP มีการกำหนดค่าสภาพแวดล้อมสำหรับ conda, pip และบทกวี พวกเขาทั้งหมดได้รับการทดสอบใน macOS โปรดทราบว่าหากคุณเลือก PIP ตามเครื่องมือติดตั้งคุณอาจต้องติดตั้งการพึ่งพาระบบเพิ่มเติม

หากคุณมีปัญหาใด ๆ กับสภาพแวดล้อมโปรดยกประเด็นที่คุณแสดงข้อผิดพลาดที่คุณได้รับ หากคุณรู้สึกมั่นใจโปรดไปข้างหน้าและสร้างคำขอดึง

บนหน้าต่างบางคนประสบปัญหากับ conda และ pip ​​(เนื่องจาก readline และ ncurses) หากเป็นกรณีของคุณโปรดดูที่ WSL หรือใช้การติดตั้ง Docker บางคนใน Winodws รายงานว่าพวกเขาจำเป็นต้องติดตั้งเครื่องมือสร้าง CPP ที่มองเห็นได้ ไม่ว่าในกรณีใดหากคุณมีปัญหาใด ๆ กับสภาพแวดล้อมโปรดยกประเด็นที่คุณแสดงข้อผิดพลาดที่คุณได้รับ หากคุณรู้สึกมั่นใจว่าคุณพบการปรับปรุงโปรดไปข้างหน้าและสร้างคำขอดึง

สำหรับ PIP และบทกวีตรวจสอบให้แน่ใจว่าคุณติดตั้ง Pandoc ในระบบของคุณ บน MacOS ใช้ Brew:

brew install pandoc

บน Ubuntu หรือ Debian Linux ใช้ APT:

sudo apt-get install pandoc

บน Windows คุณสามารถใช้ตัวติดตั้งได้

คอนดา

นี่คือวิธีที่แนะนำสำหรับการติดตั้งการพึ่งพา โปรดตรวจสอบให้แน่ใจว่าคุณติดตั้ง Anaconda แล้ว

ก่อนอื่นสร้างสภาพแวดล้อมสำหรับหนังสือที่มีการอ้างอิงทั้งหมด:

conda env create --file langchain_ai.yaml --force

สภาพแวดล้อม conda เรียกว่า langchain_ai คุณสามารถเปิดใช้งานได้ดังนี้:

conda activate langchain_ai 

ปิ๊ก

PIP เป็นเครื่องมือการจัดการการพึ่งพาเริ่มต้นใน Python ด้วย PIP คุณควรติดตั้งไลบรารีทั้งหมดจากไฟล์ข้อกำหนด:

pip install -r requirements.txt

หากคุณกำลังทำงานกับการเชื่อมต่ออินเทอร์เน็ตที่ช้าคุณอาจเห็นการหมดเวลาด้วย PIP (สิ่งนี้สามารถเกิดขึ้นได้กับ conda และ pip) เป็นวิธีแก้ปัญหาคุณสามารถเพิ่มการตั้งค่าการหมดเวลาเช่นนี้:

 export PIP_DEFAULT_TIMEOUT=100

นักเทียบท่า

มีไฟล์ Docker สำหรับสภาพแวดล้อมเช่นกัน มันใช้สภาพแวดล้อม Docker และเริ่มต้นสมุดบันทึก ipython ในการใช้งานก่อนสร้างมันก่อนจากนั้นเรียกใช้:

docker build -t langchain_ai .
docker run -it -p 8888:8888 langchain_ai

คุณควรจะสามารถค้นหาสมุดบันทึกในเบราว์เซอร์ของคุณได้ที่ http: // localhost: 8888

บทกวี

ตรวจสอบให้แน่ใจว่าคุณติดตั้งบทกวี บน Linux และ MacOS คุณควรใช้ไฟล์ข้อกำหนด:

poetry install --no-root

สิ่งนี้ควรใช้ไฟล์ pyproject.toml และติดตั้งการอ้างอิงทั้งหมด

การตั้งค่าปุ่ม API

การปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดเกี่ยวกับความปลอดภัยฉันไม่ได้ให้ข้อมูลรับรองของฉันกับ GitHub คุณอาจเห็นคำสั่ง import ที่กล่าวถึงไฟล์ config.py ซึ่งไม่รวมอยู่ในที่เก็บ โมดูลนี้มีวิธี set_environment() ที่ตั้งค่าปุ่มทั้งหมดเป็นตัวแปรสภาพแวดล้อมเช่นนี้:

ตัวอย่าง config.py:

 import os

def set_environment ():
     os . environ [ 'OPENAI_API_KEY' ] = 'your-api-key-here'

เห็นได้ชัดว่าคุณจะใส่ข้อมูลรับรอง API ของคุณที่นี่ ขึ้นอยู่กับการรวม (OpenAI, Azure ฯลฯ ) คุณต้องเพิ่มปุ่ม API ที่เกี่ยวข้อง ปุ่ม OpenAI API นั้นมักใช้บ่อยที่สุดในรหัสทั้งหมด

คุณสามารถค้นหารายละเอียดเพิ่มเติมเกี่ยวกับข้อมูลรับรอง API และการตั้งค่าในบทที่ 3 ของหนังสือกำเนิด AI กับ Langchain

การบริจาค

หากคุณพบสิ่งใดที่ผิดพลาดกับสมุดบันทึกหรือการพึ่งพาโปรดอย่าลังเลที่จะสร้างคำขอดึง

หากคุณต้องการเปลี่ยนข้อกำหนดการพึ่งพา conda (ไฟล์ YAML) คุณสามารถทดสอบได้เช่นนี้:

conda env create --file langchain_ai.yaml --force

คุณสามารถอัปเดตข้อกำหนดของ PIP ได้เช่นนี้:

pip freeze > requirements.txt

โปรดตรวจสอบให้แน่ใจว่าคุณรักษาสองวิธีในการรักษาการพึ่งพาในการซิงค์

จากนั้นตรวจสอบให้แน่ใจว่าคุณทดสอบสมุดบันทึกในสภาพแวดล้อมใหม่เพื่อดูว่าพวกเขาทำงาน

การตรวจสอบรหัส

ฉันได้รวม Makefile ที่มีคำแนะนำสำหรับการตรวจสอบด้วย Flake8, mypy และเครื่องมืออื่น ๆ ฉันได้เรียกใช้ mypy แบบนี้:

make typecheck

ในการเรียกใช้การตรวจสอบรหัสใน Ruff โปรดเรียกใช้

ruff check . 

ทำความรู้จักกับผู้เขียน

Ben Auffarth Ben Auffarth เป็นนักวิทยาศาสตร์ข้อมูลเต็มรูปแบบที่มีประสบการณ์การทำงานมานานกว่า 15 ปี ด้วยพื้นหลังและปริญญาเอก ในการคำนวณและความรู้ความเข้าใจเกี่ยวกับประสาทวิทยาศาสตร์เขาได้ออกแบบและทำการทดลองในห้องปฏิบัติการแบบเปียกเกี่ยวกับการเพาะเลี้ยงเซลล์วิเคราะห์การทดลองด้วยข้อมูล terabytes ใช้แบบจำลองสมองในซูเปอร์คอมพิวเตอร์ของไอบีเอ็มที่มีคอร์ 64K ที่สร้างระบบการผลิตหลายร้อยและหลายพันรายการต่อวัน เขาร่วมก่อตั้งและเป็นอดีตประธานฝ่ายวิทยากรด้านวิทยาศาสตร์ข้อมูลลอนดอน

หนังสืออื่น ๆ ที่เกี่ยวข้อง

• Transformers สำหรับการประมวลผลภาษาธรรมชาติและการมองเห็นคอมพิวเตอร์รุ่นที่สาม
• การสร้างแอพพลิเคชั่น Powered LLM รุ่นแรก