gpt all local

ใช้ LLMs บนข้อมูลส่วนตัวทั้งหมดในพื้นที่

โครงการนี้เป็นแบบฝึกหัดการเรียนรู้เกี่ยวกับการใช้แบบจำลองภาษาขนาดใหญ่ (LLMS) เพื่อดึงข้อมูลจากข้อมูลส่วนตัวเรียกใช้ทุกชิ้น (รวมถึงรุ่น) ในเครื่อง เป้าหมายคือการเรียกใช้ LLM บนคอมพิวเตอร์ของคุณเพื่อถามคำถามเกี่ยวกับชุดไฟล์ในคอมพิวเตอร์ของคุณด้วย ไฟล์สามารถเป็นเอกสารประเภทใดก็ได้เช่น PDF, Word หรือไฟล์ข้อความ

วิธีการรวม LLMs และข้อมูลส่วนตัวนี้เรียกว่า Generation Retrieval-Augmented Generation (RAG) มันถูกนำมาใช้ในบทความนี้

เครดิตที่เครดิตครบกำหนด: ฉันใช้โครงการนี้ใน Privatept ดั้งเดิม (สิ่งที่พวกเขาเรียกว่าเวอร์ชัน Primordial ) ฉันเปิดใช้งานชิ้นส่วนใหม่เพื่อทำความเข้าใจว่าพวกเขาทำงานอย่างไร ดูเพิ่มเติมในส่วนแหล่งที่มา

สิ่งที่เราพยายามที่จะบรรลุ: ให้ชุดไฟล์บนคอมพิวเตอร์ (a) เราต้องการรูปแบบภาษาขนาดใหญ่ (b) ที่ทำงานบนคอมพิวเตอร์เครื่องนั้นเพื่อตอบคำถาม (c)

อย่างไรก็ตามเราไม่สามารถป้อนไฟล์ไปยังโมเดลได้โดยตรง โมเดลภาษาขนาดใหญ่ (LLMS) มีหน้าต่างบริบทที่ จำกัด จำนวนข้อมูลที่เราสามารถป้อนเข้ามาได้ (หน่วยความจำในการทำงาน) เพื่อเอาชนะข้อ จำกัด นั้นเราแบ่งไฟล์ออกเป็นชิ้นเล็ก ๆ เรียกว่า ชิ้น และป้อนเฉพาะไฟล์ที่เกี่ยวข้องกับโมเดล (D)

แต่แล้วคำถามก็กลายเป็น "เราจะหาชิ้นส่วนที่เกี่ยวข้องได้อย่างไร" - เราใช้การค้นหาความคล้ายคลึงกัน (E) เพื่อให้ตรงกับคำถามและชิ้นส่วน ในทางกลับกันการค้นหาความคล้ายคลึงกันนั้นต้องการการฝังเวกเตอร์ (F) ซึ่งเป็นตัวแทนของคำที่มีเวกเตอร์ที่เข้ารหัสความสัมพันธ์เชิงความหมาย (ในทางเทคนิคการฝังเวกเตอร์ หนาแน่น ไม่ทำให้สับสน เมื่อเรามีชิ้นที่เกี่ยวข้องเราจะรวมพวกเขาเข้ากับคำถามเพื่อสร้างพรอมต์ (g) ที่สั่งให้ LLM ตอบคำถาม

เราต้องการหนึ่งชิ้นสุดท้าย: ที่เก็บถาวร การสร้าง embeddings สำหรับชิ้นนั้นต้องใช้เวลา เราไม่อยากทำทุกครั้งที่ถามคำถาม ดังนั้นเราจำเป็นต้องบันทึก embeddings และข้อความต้นฉบับ (ชิ้น) ในร้านค้าเวกเตอร์ (หรือฐานข้อมูล) (h) ร้านค้าเวกเตอร์สามารถเติบโตได้มากเพราะเก็บชิ้นข้อความต้นฉบับและการฝังเวกเตอร์ของพวกเขา เราใช้ดัชนีเวกเตอร์ (i) เพื่อค้นหาชิ้นที่เกี่ยวข้องอย่างมีประสิทธิภาพ

ตอนนี้เรามีทุกชิ้นที่เราต้องการ

เราสามารถแบ่งการใช้งานออกเป็นสองส่วน: การบริโภคและดึงข้อมูล

1. การกลืนกิน: เป้าหมายคือการแบ่งไฟล์ท้องถิ่นออกเป็นชิ้นเล็ก ๆ ที่พอดีกับขนาดอินพุต LLM (หน้าต่างบริบท) นอกจากนี้เรายังต้องสร้างการฝังเวกเตอร์สำหรับแต่ละก้อน เวกเตอร์ฝังตัวช่วยให้เราค้นหาชิ้นส่วนที่เกี่ยวข้องมากที่สุดเพื่อช่วยตอบคำถาม เนื่องจาก chunking และการฝังใช้เวลาเราจึงต้องการทำเช่นนั้นเพียงครั้งเดียวดังนั้นเราจึงบันทึกผลลัพธ์ในร้านค้าเวกเตอร์ (ฐานข้อมูล)
2. การดึงข้อมูล: จากคำถามผู้ใช้เราใช้การค้นหาที่คล้ายคลึงกันเพื่อค้นหาชิ้นส่วนที่เกี่ยวข้องมากที่สุด (เช่นชิ้นส่วนของไฟล์ท้องถิ่นที่เกี่ยวข้องกับคำถาม) เมื่อเรากำหนดชิ้นส่วนที่เกี่ยวข้องมากที่สุดเราสามารถใช้ LLM เพื่อตอบคำถาม ในการทำเช่นนั้นเรารวมคำถามผู้ใช้กับชิ้นส่วนที่เกี่ยวข้องและคำสั่งให้ LLM ตอบคำถาม

สองขั้นตอนนี้แสดงในแผนภาพต่อไปนี้

วิธีใช้โครงการนี้

หากคุณยังไม่ได้ทำให้เตรียมสภาพแวดล้อม หากคุณได้เตรียมสภาพแวดล้อมแล้วให้เปิดใช้งานด้วย source venv/bin/activate

มีสองวิธีในการใช้โครงการนี้:

1. อินเทอร์เฟซบรรทัดคำสั่ง: ใช้อันนี้เพื่อดูบันทึกเพิ่มเติมและเข้าใจสิ่งที่เกิดขึ้น (ดู -ค่าสถานะ --verbose ด้านล่าง)
2. แอพ Streamlit: ใช้อันนี้เพื่อประสบการณ์ที่ใช้งานง่ายมากขึ้น

อินเตอร์เฟสบรรทัดคำสั่ง

1. คัดลอกไฟล์ที่คุณต้องการใช้ในโฟลเดอร์ data
2. เรียกใช้ python main.py ingest เพื่อเข้าไปในไฟล์เข้าไปในร้านค้าเวกเตอร์
3. เรียกใช้ python main.py retrieve เพื่อดึงข้อมูลจากร้านค้าเวกเตอร์ มันจะแจ้งให้คุณทราบ

ใช้ธง --verbose เพื่อรับรายละเอียดเพิ่มเติมเกี่ยวกับสิ่งที่โปรแกรมกำลังทำอยู่เบื้องหลัง

ในการรับข้อมูลอีกครั้งให้ลบโฟลเดอร์ vector_store และเรียกใช้ python main.py ingest อีกครั้ง

แอพ streamlit

เรียกใช้ streamlit run app.py มันจะเปิดแอพในหน้าต่างเบราว์เซอร์

คำสั่งนี้อาจล้มเหลวครั้งแรกที่คุณเรียกใช้ มีความผิดพลาดอยู่ที่ไหนสักแห่งในการทำงานของ Python Environment กับ Pyenv หาก Streamlit แสดง "ไม่สามารถนำเข้าข้อความโมดูล" ให้ปิดการใช้งานสภาพแวดล้อม Python ด้วย deactivate ให้เปิดใช้งานอีกครั้งด้วย source venv/bin/activate และเรียกใช้ streamlit run app.py

ออกแบบ

การบริโภคข้อมูล

หากคุณยังไม่ได้ทำให้เตรียมสภาพแวดล้อม หากคุณได้เตรียมสภาพแวดล้อมแล้วให้เปิดใช้งานด้วย source venv/bin/activate

คำสั่ง: python main.py ingest [--verbose]

เป้าหมายของขั้นตอนนี้คือการทำให้ข้อมูลค้นหาได้ อย่างไรก็ตามคำถามของผู้ใช้และเนื้อหาข้อมูลอาจไม่ตรงกัน ดังนั้นเราไม่สามารถใช้เครื่องมือค้นหาง่ายๆ เราจำเป็นต้องทำการค้นหาความคล้ายคลึงกันที่สนับสนุนโดย Vector Embeddings การฝังเวกเตอร์เป็นส่วนที่สำคัญที่สุดของขั้นตอนนี้

การกลืนข้อมูลมีขั้นตอนต่อไปนี้:

1. โหลดไฟล์: ตัวอ่านเอกสารที่ตรงกับประเภทเอกสารใช้เพื่อโหลดไฟล์ ณ จุดนี้เรามีอาร์เรย์ของอักขระที่มีเนื้อหาไฟล์ ("เอกสาร" นับจากนี้เป็นต้นไป) ข้อมูลเมตารูปภาพ ฯลฯ จะถูกละเว้น
2. แบ่งเอกสารออกเป็นชิ้น: ตัวแยกเอกสารแบ่งเอกสารออกเป็นชิ้นขนาดที่ระบุ เราจำเป็นต้องแยกเอกสารให้พอดีกับขนาดบริบทของโมเดล (และเพื่อส่งโทเค็นน้อยลงเมื่อใช้โมเดลที่ชำระเงิน) ขนาดที่แน่นอนของแต่ละก้อนขึ้นอยู่กับตัวแยกเอกสาร ตัวอย่างเช่นตัวแยกประโยคพยายามแยกที่ระดับประโยคทำให้ชิ้นส่วนเล็กกว่าขนาดที่ระบุ
3. สร้างการฝังเวกเตอร์สำหรับแต่ละก้อน: โมเดลการฝังจะสร้างการฝังเวกเตอร์สำหรับแต่ละก้อน นี่เป็นขั้นตอนสำคัญที่ช่วยให้เราค้นหาชิ้นส่วนที่เกี่ยวข้องมากที่สุดเพื่อช่วยตอบคำถาม
4. บันทึก Embeddings ลงในฐานข้อมูล Vector (Store): คงงานทั้งหมดที่เราทำไว้ข้างต้นดังนั้นเราจึงไม่ต้องทำซ้ำในอนาคต

การปรับปรุงในอนาคต:

• การแยกวิเคราะห์เอกสารอัจฉริยะมากขึ้น ตัวอย่างเช่นอย่าผสมคำบรรยายภาพกับข้อความส่วน อย่าแยกวิเคราะห์ส่วนการอ้างอิง (อีกทางเลือกหนึ่งแทนที่การอ้างอิงแบบอินไลน์ด้วยข้อความอ้างอิงจริง)
• ปรับปรุงความเท่าเทียมกัน เป็นการดีที่เราต้องการเรียกใช้เวิร์กโฟลว์ทั้งหมด (โหลดเอกสาร, ก้อน, ฝัง, คงอยู่) ในแบบขนานสำหรับแต่ละไฟล์ สิ่งนี้ต้องใช้วิธีแก้ปัญหาที่ไม่เพียง แต่ขนานกับ I/O-bound เท่านั้น ร้านค้าเวกเตอร์จะต้องรองรับนักเขียนหลายคน
• ลองใช้กลยุทธ์ chunking ที่แตกต่างกันเช่นตรวจสอบว่าตัวแยกประโยค ( NLTKTextSplitter หรือ SpacyTextSplitter ) ปรับปรุงคำตอบ
• เลือกขนาด chunking ตามขนาดอินพุต LLM (บริบท) ปัจจุบันมันถูกเก็บไว้เป็นจำนวนน้อยซึ่งอาจส่งผลกระทบต่อคุณภาพของผลลัพธ์ ในทางกลับกันจะช่วยประหยัดค่าใช้จ่ายใน LLM API เราต้องหาสมดุล
• ทำให้กระบวนการบริโภคโดยอัตโนมัติ: ตรวจพบว่ามีไฟล์ใหม่หรือเปลี่ยนแปลงและนำเข้ามาหรือไม่

การดึงข้อมูล

หากคุณยังไม่ได้ทำให้เตรียมสภาพแวดล้อม หากคุณได้เตรียมสภาพแวดล้อมแล้วให้เปิดใช้งานด้วย source venv/bin/activate

คำสั่ง: python main.py retrieve [--verbose]

เป้าหมายของขั้นตอนนี้คือการดึงข้อมูลจากข้อมูลท้องถิ่น เราทำเช่นนั้นโดยดึงชิ้นส่วนที่เกี่ยวข้องมากที่สุดจากร้านค้าเวกเตอร์และรวมเข้ากับคำถามของผู้ใช้และพรอมต์ พรอมต์สั่งรูปแบบภาษา (LLM) เพื่อตอบคำถาม

การดึงข้อมูลมีขั้นตอนต่อไปนี้:

1. ค้นหาชิ้นส่วนที่เกี่ยวข้องมากที่สุด: ร้านค้าเวกเตอร์ถูกสอบถามเพื่อค้นหาชิ้นส่วนที่เกี่ยวข้องมากที่สุดสำหรับคำถาม
2. รวมชิ้นส่วนกับคำถามและพรอมต์: ชิ้นส่วนจะรวมกับคำถามและพรอมต์ พรอมต์สั่งให้ LLM ตอบคำถาม
3. ส่งข้อความรวมไปยัง LLM: ข้อความรวมจะถูกส่งไปยัง LLM เพื่อรับคำตอบ

การปรับปรุงในอนาคต:

• เพิ่มการโทรกลับ Langchain เพื่อดูขั้นตอนของกระบวนการดึงข้อมูล
• ปรับปรุงพรอมต์เพื่อตอบเฉพาะสิ่งที่อยู่ในเอกสารท้องถิ่นเช่น "ใช้ข้อมูลเฉพาะจากเอกสารต่อไปนี้: ... " หากไม่มีขั้นตอนนี้โมเดลดูเหมือนจะฝันถึงคำตอบจากข้อมูลการฝึกอบรมซึ่งไม่เกี่ยวข้องเสมอไป
• เพิ่มการกลั่นกรองเพื่อกรองคำตอบที่น่ารังเกียจ
• ปรับปรุงคำตอบด้วยการ Reranking: "ส่งผลการค้นหาของเรามากเกินไปจากนั้นจึงกำหนดอีกครั้งตามตัวดัดแปลงหรือชุดของตัวดัดแปลง" -
• ลองประเภทโซ่ที่แตกต่างกัน (เกี่ยวข้องกับจุดก่อนหน้า)

ปรับปรุงผลลัพธ์

เราต้องทำการประนีประนอมเพื่อให้มันทำงานบนเครื่องท้องถิ่นในระยะเวลาที่เหมาะสม

• เราใช้รุ่นเล็ก ๆ อันนี้ยากที่จะเปลี่ยนแปลง โมเดลต้องทำงานบน CPU และพอดีกับหน่วยความจำ
• เราใช้ขนาดฝังขนาดเล็ก เราสามารถเพิ่มขนาดการฝังได้หากเรารออีกต่อไปสำหรับกระบวนการกลืนกิน
• เก็บทุกอย่างไว้เหมือนกันและลองใช้โซ่ที่แตกต่างกัน

แหล่งกำเนิด

รหัส Ingest/Retrieve ส่วนใหญ่ขึ้นอยู่กับ Privatept ดั้งเดิมซึ่งเป็นรหัสที่พวกเขาเรียกว่าตอนนี้ Primordial

แตกต่างอะไร:

• แอป Streamlit สำหรับ UI
• ใช้ Embeddings ใหม่และรุ่นภาษาขนาดใหญ่
• ทันสมัยรหัส Python ตัวอย่างเช่นใช้ pathlib แทน os.path และมีการบันทึกที่เหมาะสมแทนคำสั่งพิมพ์
• เพิ่มการบันทึกเพิ่มเติมเพื่อทำความเข้าใจว่าเกิดอะไรขึ้น ใช้ธง --verbose เพื่อดูรายละเอียด
• เพิ่มโปรแกรมหลักเพื่อเรียกใช้ขั้นตอนการบริโภค/ดึงข้อมูล
• กรอกข้อมูลใน requirements.txt ด้วยการพึ่งพาทางอ้อมตัวอย่างเช่นสำหรับหม้อแปลง Huggingface และ langchain document loaders

ดูไฟล์นี้สำหรับบันทึกเพิ่มเติมที่รวบรวมระหว่างการพัฒนาโครงการนี้

การเตรียมสิ่งแวดล้อม

นี่เป็นขั้นตอนเดียว หากคุณได้ทำสิ่งนี้ไปแล้วเพียงแค่เปิดใช้งานสภาพแวดล้อมเสมือนจริงด้วย source venv/bin/activate

สภาพแวดล้อม Python

เรียกใช้คำสั่งต่อไปนี้เพื่อสร้างสภาพแวดล้อมเสมือนจริงและติดตั้งแพ็คเกจที่ต้องการ

python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

การแยกวิเคราะห์ PDF

ตัวแยกวิเคราะห์ PDF ที่ unstructured เป็นเลเยอร์ที่ด้านบนของแพ็คเกจตัวแยกวิเคราะห์จริง ทำตามคำแนะนำใน readme unstructured ใต้กระสุน "ติดตั้งระบบต่อไปนี้" จำเป็นต้องใช้แพ็คเกจ Poppler และ Tesseract (ไม่สนใจอื่น ๆ )

แบบอย่าง

ฉันขอแนะนำให้เริ่มต้นด้วยรุ่นเล็ก ๆ ที่ทำงานบน CPU GPT4ALL มีรายการรุ่นที่นี่ ฉันทดสอบกับ Mistral-7b-Openorca Q4 ต้องใช้ RAM 8 GB โปรดทราบว่าบางรุ่นมีใบอนุญาตที่เข้มงวด ตรวจสอบใบอนุญาตก่อนใช้งานในโครงการเชิงพาณิชย์

1. สร้างโฟลเดอร์ชื่อ models
2. คลิกที่นี่เพื่อดาวน์โหลด Mistral 7B OpenOrca (ดาวน์โหลด 3.8 GB, 8 GB RAM)
3. คัดลอกโมเดลไปยังโฟลเดอร์ models