หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

การเรียนรู้แบบแลงเชน

บันทึกการศึกษาของ Langchain พึ่งพา: 

 openai == 0.27 . 8
langchian == 0.0 . 225

เครื่องมือบางอย่างที่คล้ายกับ Langchain:

  • Danswer-AI/DANSWER: ถามคำถามในภาษาธรรมชาติและรับคำตอบที่ได้รับการสนับสนุนจากแหล่งข้อมูลส่วนตัว

บทความ

หมายเหตุ: เนื่องจากการอัปเดตของ Langchain หรือ Langchain-Chatglm ซอร์สโค้ดและคำอธิบายบางอย่างอาจแตกต่างกัน

บางบทความใส่ลิงก์โดยตรงและรวบรวมจากอินเทอร์เน็ต

  • Langchain Component-Data Connection
  • Langchain Component-Model IO (Model IO)
  • ส่วนประกอบของ Langchain
  • ตัวแทนส่วนประกอบ Langchain
  • หน่วยความจำส่วนประกอบของ Langchain
  • Langchain Component-callbacks
  • สิ่งที่ทำเบื้องหลัง Chatopenai ใน langchain.md
  • langchain.load.serializable.py.md
  • schema.md บางตัวใน langchain
  • วิธีโทรหาอินเทอร์เฟซของ Chatgpt ใน langchain.md
  • หลักการที่อยู่เบื้องหลังเอาท์พุทโครงสร้าง Langchain, MD
  • หน่วยความจำทำงานใน langchain.md ได้อย่างไร
  • วิธีการตรวจสอบให้แน่ใจว่าผลลัพธ์ตรงตามความคาดหวังทางศีลธรรม MD
  • หลักการของ llmrouterchain ใน langchain.md
  • EmbeddingRouterchain หลักการใน langchain.md
  • Langchain Integration gptcache.md
  • Langchain Integrated Mivus Vector Database.md
  • StreamingstDoutCallbackHandler หลักการใน langchain.md
  • การกำหนดค่าบางอย่างของ config ใน pydantic.md
  • serializable และ root_validator.md ใน pydantic
  • บางวิธีเวทมนตร์ที่ใช้กันทั่วไปใน Python.md
  • ประเภทที่ใช้กันทั่วไปของการพิมพ์ Python
  • การใช้ functools บางส่วนใน python.md
  • การใช้ลายเซ็นของการตรวจสอบใน Python.md
  • Args และ Kwargs.md ใน Python
  • ทำไมฉันถึงยอมแพ้กับ Langchain? - Zhihu (zhihu.com)

ปัจจุบันมีโครงการจีนสองโครงการตาม Langchain:

  • https://github.com/yanqiangmiffy/chinese-langchain
  • https://github.com/imclumsypanda/langchain-chatglm

เราสามารถเรียนรู้มากมายจากมัน

Langchain-Chatglm

  • พื้นฐานของการปรับใช้ langchain-chatglm โดยใช้ api.md
  • เกิดอะไรขึ้นเมื่ออัปโหลด document.md
  • เกี่ยวกับ huggingfaceembeddings.md
  • เกี่ยวกับ inmemorydocstore.md
  • เกี่ยวกับตัวละคร TEAGLATETEXTSPLITTER.md
  • เกี่ยวกับ textloader.md
  • เกี่ยวกับวิธีเรียกอินเทอร์เฟซการค้นหาของ Bing
  • ตามการสืบค้นหลักการของการได้รับ doc.md ที่เกี่ยวข้อง
  • สร้าง propt.md ตามเอกสารการสอบถามและการสืบค้น
  • สร้างผลลัพธ์โดยใช้แบบจำลองตาม propt.md
  • Chatgpt Small Replacement Chatglm-6b การปรับใช้ภาษาท้องถิ่นเข้าถึงประสบการณ์ฐานความรู้ท้องถิ่น |

ตัวอย่างภาษาจีน

  • รุ่น LLM จีนที่กำหนดเอง
  • รูปแบบการแชทจีนที่กำหนดเอง
  • ใช้ chinese splitter.md
  • QUERY DOCS.MD ตามการสืบค้น
  • mini-langchain-chatglm.md
  • สร้างเวอร์ชันง่าย ๆ ของ Xiaoai Classmate Assistant.md
  • chatglm ใช้ Agent Control.MD
  • การปรับปรุงการดึงข้อมูลเวกเตอร์ chatglm - รวมกับ ES
  • การสกัดกราฟความรู้ LLM - Zhihu (zhihu.com)

ตัวอย่างภาษาอังกฤษ

  • langchain ใช้ openai example.md (การแปลข้อความ)
  • openai call chatgpt ตัวอย่าง. md
  • Langchain วิเคราะห์ผลลัพธ์และจัดรูปแบบ output.md
  • บทสนทนา langchain กับ memory.md
  • ใช้โซ่ที่แตกต่างกันใน langchain.md
  • คำถาม & คำตอบที่อิงกับเอกสารของ Langchain
  • ใช้ LLAMA2 เชิงปริมาณบน CPU โดยใช้ GGML และ Langchain
  • การสอนที่สมบูรณ์เกี่ยวกับการปรับใช้ในท้องถิ่นของโมเดลโอเพ่นซอร์ส: langchain + streamlit + llama - zhihu (zhihu.com)

Prompt Project.md

propt ที่ได้รับการปรับปรุงเป็นสิ่งสำคัญสำหรับผลลัพธ์

YZFLY/Langgpt: Langgpt: ช่วยให้ทุกคนเป็นผู้เชี่ยวชาญที่รวดเร็ว! (github.com): สร้าง propt คุณภาพสูงที่มีโครงสร้าง

อาจมีปัญหาบางอย่างกับ Langchain

แม้ว่า Langchain จะให้ความสะดวกแก่เรา แต่ก็มีปัญหาบางอย่าง:

  • ปัญหาของเทคโนโลยีพื้นฐานของโมเดลขนาดใหญ่ไม่สามารถแก้ไขได้ส่วนใหญ่เป็นปัญหาของการใช้ซ้ำของ PROPT : ประการแรกปัญหามากมายในรูปแบบขนาดใหญ่เป็นข้อบกพร่องของเทคโนโลยีพื้นฐานของโมเดลขนาดใหญ่และไม่ใช่สิ่งที่ Langchain สามารถแก้ไขได้ ปัญหาหลักคืองานหลักของการพัฒนาแบบจำลองขนาดใหญ่คือวิศวกรรม Propt และนี่เป็นสิ่งที่นำกลับมาใช้ใหม่ได้มาก อย่างไรก็ตามคุณสมบัติเหล่านี้ทั้งหมด ต้องการ propp ที่เขียนด้วยลายมือที่กำหนดเองมาก ทุกขั้นตอนในห่วงโซ่ต้องใช้ proppt ที่เขียนด้วยลายมือ ข้อมูลอินพุตจะต้องจัดรูปแบบในวิธีที่เฉพาะเจาะจงมากในการสร้างเอาต์พุตที่ดีสำหรับขั้นตอนฟังก์ชัน/ห่วงโซ่ การตั้งค่า DAG orchestration เพื่อเรียกใช้โซ่เหล่านี้คิดเป็นเพียง 5% ของงานและ 95% ของงานเป็นเพียงการปรับเปลี่ยนและรูปแบบการทำให้เป็นอนุกรมข้อมูล สิ่งเหล่านี้ ไม่สามารถนำกลับมาใช้ซ้ำได้

  • สิ่งที่เป็นนามธรรมและขยะที่ซ่อนอยู่ของ Langchain ทำให้เกิดปัญหาการพัฒนา : เพียงแค่ใส่สิ่งที่เป็นนามธรรมของ Langchain ไม่ดีพอดังนั้นจึงต้องสร้างขั้นตอนต่าง ๆ มากมายด้วยตัวเอง ยิ่งไปกว่านั้นอุปกรณ์ประกอบฉากในตัวของ Langchain ในตัวนั้นไม่ดีดังนั้นพวกเขาจึงไม่ดีเท่าการสร้างตัวเอง แต่พวกเขาซ่อนอุปกรณ์ประกอบฉากเริ่มต้นเหล่านี้

  • เฟรมเวิร์ก Langchain นั้นยากที่จะแก้ไขข้อบกพร่อง : แม้ว่าวิธีการหลายวิธีของ Langchain จะให้พารามิเตอร์สำหรับการพิมพ์ข้อมูลโดยละเอียด แต่จริง ๆ แล้วพวกเขาไม่มีข้อมูลที่มีค่ามากนัก ตัวอย่างเช่นมันเป็นเรื่องยากมากหากคุณต้องการดูการสืบค้น PROPT หรือ LLM จริง เหตุผลเหมือนกันก่อนหน้านี้ ดังนั้นหากคุณใช้ Langchain เพื่อพัฒนาไม่ดีและคุณต้องการดีบักรหัสเพื่อดูว่ามีปัญหาใดที่มีปัญหามันจะยาก

  • Langchain สนับสนุนการล็อคเครื่องมือ : Langchain สนับสนุนให้ผู้ใช้พัฒนาและทำงานบนแพลตฟอร์มของพวกเขา แต่หากผู้ใช้จำเป็นต้องทำเวิร์กโฟลว์บางอย่างที่ไม่ได้กล่าวถึงในเอกสาร Langchain มันยากที่จะแก้ไขแม้จะมีพร็อกซีที่กำหนดเอง ซึ่งหมายความว่าเมื่อผู้ใช้เริ่มใช้ Langchain พวกเขาอาจพบว่าตัวเองถูกกักขังอยู่ในเครื่องมือและคุณสมบัติเฉพาะของ Langchain และไม่สามารถเปลี่ยนไปใช้เครื่องมือหรือแพลตฟอร์มอื่น ๆ ที่อาจเหมาะสมกับความต้องการของพวกเขาได้อย่างง่ายดาย

เนื้อหาข้างต้นมาจาก:

  • Langchain ไม่มีจุดหมาย
  • ปัญหาบางอย่างเกี่ยวกับการใช้ Langchain เพื่อทำการพัฒนาแบบจำลองขนาดใหญ่: การอภิปรายอย่างดุเดือดจาก Hacker News ~

บางครั้งเราสามารถใช้กระบวนการที่เกี่ยวข้องสำหรับงานง่าย ๆ ด้วยตัวเองเพื่อให้ แต่ละส่วนถูกควบคุมด้วยตัวเอง และง่ายต่อการปรับเปลี่ยน

แก้ปัญหาที่ซับซ้อนโดยใช้ Langchain

วิธีที่ 1: โดเมนปรับแต่ง LLM

การปรับแต่ง LLM โดยใช้ข้อมูลโดเมนนั้นถูก จำกัด ด้วยขนาดของทรัพยากรการคำนวณและพารามิเตอร์แบบจำลองและรูปแบบจะมีข่าวลือ สิ่งนี้เกี่ยวข้องกับชุดของปัญหา:

  • วิธีรับข้อมูลและวิธีการทำความสะอาดข้อมูล
  • วิธีการใช้คำว่าคำว่าคำศัพท์คืออะไร
  • รูปแบบใดที่ใช้สถาปัตยกรรมใช้วิธีการฝึกอบรมและวิธีการประเมินแบบจำลอง
  • วิธีการอนุมานแบบจำลองอย่างมีประสิทธิภาพและวิธีการปรับใช้
  • โดเมนการฝึกอบรมก่อนการเรียนการสอนโดเมนการปรับแต่งแบบจำลองรางวัลและการจัดตำแหน่งผลลัพธ์

วิธีที่ 2: Langchain + LLM + เครื่องมือ

แนวคิดพื้นฐาน:

1. คำถามผู้ใช้: โปรดเปรียบเทียบผลิตภัณฑ์ Estee Laudert การซ่อมแซม Soft การดูแลผิวและ SK-II Skin Care Essence?

2. การกำหนดเส้นทางปัญหา Routerchain นั่นคือวิธีตอบคำถาม: (โทร LLM หนึ่งครั้ง)

  • RouterChain สามารถเป็น LLM หรือการฝังเพื่อให้ตรงกับโซลูชันที่เหมาะสม
  • ที่นี่เราจับคู่ปัญหา การเปรียบเทียบผลิตภัณฑ์ และรับโซลูชัน: (1) โทรหาเครื่องมือค้นหาผลิตภัณฑ์เพื่อรับการแนะนำสำหรับแต่ละผลิตภัณฑ์ (2) เปรียบเทียบผลิตภัณฑ์เหล่านี้ผ่านผลการค้นหา

3. ใช้ Planner เพื่อสร้างขั้นตอน: (โทร LLM หนึ่งครั้ง)

  • สร้างขั้นตอนที่เหมาะสมตามการแก้ปัญหาเช่น: (1) ค้นหา Estee Lauder Trem ซ่อมแซมสาระสำคัญของผิว (2) ค้นหาสาระสำคัญการดูแลผิว SK-II (3) เปรียบเทียบผลิตภัณฑ์ข้างต้น

4. Executor Executer ดำเนินการตามขั้นตอนข้างต้น: (ขั้นตอนการโทร LLM, N คือ HyperParameter ที่ระบุจำนวนการโทรสูงสุด)

  • จำเป็นต้องมีเครื่องมือและปัญหาแต่ละขั้นตอนจะต้องเรียกว่า LLM เพื่อสร้างพารามิเตอร์การโทรของเครื่องมือแต่ละตัว
  • โทรหาเครื่องมือเพื่อรับผลลัพธ์

5. สรุปผลลัพธ์ทั้งหมด (โทร LLM หนึ่งครั้ง)

วิธีที่ 3: Langchain + LLM + ค้นหา

เมื่อเปรียบเทียบกับ Scheme 1 โดยไม่ต้องใช้เครื่องมือฐานข้อมูลจะถูกค้นหาโดยตรงตามคำถามและจากนั้นผลลัพธ์ที่ดึงมาจะได้รับคำตอบ

วิธีการค้นหาสามารถขึ้นอยู่กับคำหลักของคำถามที่กำหนดและใช้เครื่องมือ ES เพื่อดึงย่อหน้า TOPK พร้อมคำตอบที่เป็นไปได้จากฐานข้อมูลขนาดใหญ่ ส่งย่อหน้า topk เหล่านี้พร้อมกับคำถามที่ LLM เพื่อตอบ

วิธีการค้นหาถูกเปลี่ยนเป็นรูปแบบเวกเตอร์

รูปภาพ

ข้อดีและข้อเสียของวิธีการข้างต้น:

Field Fine-Tuning LLM : ต้องใช้กำลังคนจำนวนมากในการรวบรวมข้อมูลและคำถามและคำตอบในสนามและต้องใช้พลังในการคำนวณจำนวนมากเพื่อปรับแต่ง

Langchain + LLM + เครื่องมือ : เป็นบริการที่ใช้ LLM เป็นบริการย่อย การสร้าง LLM นั้นไม่น่าเชื่อถือเมื่อเรียกเครื่องมือตามปัญหาและเครื่องมือ ไม่สามารถใช้เครื่องมือที่ดีได้ อาจเป็นไปไม่ได้ที่จะเรียกเครื่องมือที่เหมาะสมตามคำแนะนำและแผนอาจไม่ดีและยากต่อการควบคุม ข้อดีคือ: ใช้ในการแก้ปัญหาที่ซับซ้อน

Langchain + LLM + Search : ข้อได้เปรียบคือโครงสร้างคำถามและคำตอบที่สำคัญในฟิลด์ปัจจุบันและข้อเสียคือการค้นหาย่อหน้าที่อาจมีคำตอบอาจไม่ถูกต้องเมื่อค้นหาคำตอบตามคำถาม ไม่เหมาะสำหรับคำถามและคำตอบที่ซับซ้อน

สรุป: ปัญหาที่ใหญ่ที่สุดคือ LLM เอง:

  • ความไม่สามารถควบคุมได้ของเอาท์พุท LLM จะนำไปสู่การเบี่ยงเบนในขั้นตอนต่อไป
  • ความยาวของอินพุตบริบทของ LLM: ความยาวสามารถขยายได้มากกว่า 1 พันล้าน
  • ค่าใช้จ่ายในการฝึกอบรม LLM: นอกเหนือจากการรวบรวมและการเรียงลำดับด้วยตนเองแล้วยังสามารถสร้างแบบจำลองขนาดใหญ่ได้
  • ปัญหาการปรับใช้ LLM: นอกจากนี้ยังมีวิธีการมากมายในการเร่งการใช้เหตุผลเช่นปริมาณการบีบอัดการปรับใช้โดยใช้การกระจายการปรับใช้โดยใช้ C ++ ฯลฯ

LLM เป็นฐานของระบบทั้งหมดและยังมีตัวเลือกมากมาย

ข้อมูลอ้างอิงข้างต้น: https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

ซึ่งขยายออกไป

ทิ้งคำถามไว้ให้คิด: มันอาจเกี่ยวข้องกับ Langchain หรือกับรุ่นใหญ่

  • ** วิธีเลือกโมเดลขนาดใหญ่ภาษาจีนตามข้อมูลในเขตข้อมูลแนวตั้ง? ** 1. มีวางจำหน่ายทั่วไปหรือไม่? 2. ตามเวอร์ชันการจัดอันดับของการตรวจสอบแต่ละครั้ง 3. ประเมินข้อมูลภาคสนามของคุณเอง 4. ดึงจากแบบจำลองสนามแนวตั้งที่มีอยู่เช่นรูปแบบทางการเงินแบบจำลองทางกฎหมายแบบจำลองทางการแพทย์ ฯลฯ

  • ** คำตอบของข้อมูลประกอบด้วยชุดของประโยคที่เชื่อมต่อ **ตัวอย่างเช่น: 

    怎么能够解决失眠？
1 、保持良好的心情；
2 、进行适当的训练。
3 、可适当使用药物。

    1. พยายามตั้งค่าความยาวของข้อความที่แบ่งออกเป็นขนาดใหญ่ 2. เพื่อหลีกเลี่ยงคำตอบที่ถูกแบ่งออกคุณสามารถตั้งค่าข้อความบางอย่างที่จะทำซ้ำระหว่างย่อหน้าที่แตกต่างกัน 3. เอกสาร TOP_K แรกสามารถส่งคืนระหว่างการค้นหา 4. ฟิวชั่นหลายข้อความพบและสรุปโดยใช้ LLM

  • วิธีการสร้างการฝังในทุ่งแนวตั้ง?

  • จะเก็บการฝังที่ได้รับได้อย่างไร?

  • จะแนะนำ LLM ให้คิดได้ดีขึ้นได้อย่างไร? คุณสามารถใช้: ห่วงโซ่แห่งความคิด, ถามตัวเอง, ตอบสนอง

อ้างถึง

บทนำ |?

API อ้างอิง - ?? langchain 0.0.229

https://mp.weixin.qq.com/s/fvrchit0c0xhysco_d-sda

https://python.langchain.com.cn/docs/modules/agents/how_to/custom_llm_chat_agent

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด