dolly expert lite

ชื่อ	app_file	SDK	sdk_version
Dolly-expert-builder	app.py	Gradeio	3.34.0

Dolly-Expert-Lite

ผู้ช่วยขับเคลื่อน Dolly-V2 ที่มีน้ำหนักเบาซึ่งสามารถตอบคำถามเฉพาะโดเมนและสนทนาได้ เป็นระบบผู้เชี่ยวชาญในยุคของ LLMS

ส่งไปยัง "ดังนั้นคุณคิดว่าคุณสามารถแฮ็ค": โอเพนซอร์ซ LLMS (เช่น OpenAssistant, MPT, Dolly, ฯลฯ ) DevPost Hackathon

• Dolly Expert Builder @ HuggingFace Space
• Notebook Databricks ที่เผยแพร่
• Jupyter Notebook - เวอร์ชัน GitHub

แรงบันดาลใจ

ระบบผู้เชี่ยวชาญ

ระบบผู้เชี่ยวชาญเคยมีขนาดใหญ่ในปัญญาประดิษฐ์ พวกเขาเลียนแบบความสามารถในการตัดสินใจของผู้เชี่ยวชาญของมนุษย์ในสาขาเฉพาะและสามารถให้คุณค่าที่สำคัญในหลายกรณีการใช้งาน ข้อเสียเปรียบหลักของระบบผู้เชี่ยวชาญของโรงเรียนเก่าคือพวกเขาจะต้องได้รับการตั้งโปรแกรมโดยใช้งบบูลีนหรือตรรกะที่คล้ายกันใช้เวลาและทรัพยากรอย่างมาก ในหลาย ๆ ครั้งวิธีการนี้เอาชนะวัตถุประสงค์ของการมีผู้เชี่ยวชาญที่พร้อมใช้งานสำหรับงานที่อยู่ในมือ

LLMS แบบปิดแหล่งข้อมูล

แอปพลิเคชั่น LLM แบบปิดแหล่งข้อมูลเช่น CHATGPT3.5 และ CHATGPT-4 เป็นรุ่นมหึมาที่ดีมากงานจำนวนมาก พวกเขามีข้อ จำกัด เช่นภาพหลอนเมื่อพวกเขาไม่รู้วิธีตอบสนองหรือเมื่อคำตอบออนไลน์และพวกเขาไม่สามารถเข้าถึงอินเทอร์เน็ตหรือไฟล์ได้ บางครั้งภาพหลอนเหล่านี้จะได้รับการบอกกล่าวในรูปแบบที่น่าเชื่อถือมากและเมื่อใดก็ตามที่มีใครพยายามที่จะนำไปใช้พวกเขาพวกเขาจะกลายเป็นเท็จหรือไม่ถูกต้อง โมเดลเหล่านี้มีหน้าต่างบริบทขนาดใหญ่เพื่อให้ผู้คนสามารถช่วยพวกเขาทำงานทุกอย่างที่พวกเขาต้องดิ้นรนโดยการให้ข้อมูลมากมายและใช้เทคนิคทางวิศวกรรมที่รวดเร็ว สิ่งนี้ทำให้มากกว่าหนึ่งคิดว่ามีเพียง บริษัท ขนาดใหญ่ที่มีซอร์สโค้ดปิดเท่านั้นที่สามารถพัฒนาและปรับใช้แอปพลิเคชัน LLM

มันทำอะไร

Dolly Expert Lite ใช้ประโยชน์จาก Dolly-V2-3B ซึ่งเป็นเวอร์ชันเบาของ Dolly-V2-12B รุ่นภาษาโอเพนซอร์ซขนาดใหญ่ (LLM) เพื่อตอบคำถามเฉพาะโดเมนโดยใช้การดึงข้อมูลในฐานข้อมูลเวกเตอร์ที่ทำเอง ในการปรับใช้ตัวอย่างนี้ Dolly-Expert-Builder ดึงข้อมูลจากรหัสอาคารออนแทรีโอ (แคนาดา) เพื่อตอบคำถามเฉพาะเกี่ยวกับการก่อสร้างการประปาการเดินสายไฟฟ้าและการระบายอากาศตามรหัสของรัฐบาลอย่างเป็นทางการ Dolly-Expert-Builder สามารถให้ข้อมูลที่เชื่อมโยงกันและถูกต้องตามความเป็นจริงกับแหล่งข้อมูลและสามารถใช้เป็นแนวทางที่เหมาะสมสำหรับผู้ค้า (ช่างประปาช่างไฟฟ้าช่างกลไกผู้สร้างบ้าน) รวมถึงวิศวกรและสถาปนิกเพื่อช่วยในการปฏิบัติตามกฎระเบียบขณะทำงาน

โดยทำตามวิธีนี้บุคคลและองค์กรสามารถใช้ข้อมูลท้องถิ่นของพวกเขาเพื่อให้ผู้ช่วยผู้เชี่ยวชาญสามารถตอบคำถามเฉพาะโดเมน กรณีการใช้งานที่เป็นไปได้รวมถึง:

• การสะกดข้อกำหนดด้านกฎระเบียบ/กฎหมาย
• การสนับสนุนการขึ้นเครื่องและการฝึกอบรม
• อธิบายระบบคุณภาพ
• บทวิจารณ์วรรณกรรม
• การค้นหาเอกสาร

เราสร้างมันได้อย่างไร

• แบบจำลอง: Dolly-V2-3B เพื่อเป็นแบบอย่างการพัฒนาและการปรับใช้ที่มีน้ำหนักเบา
• เฟรมเวิร์ก: Langchain ทำห่วงโซ่ตอบคำถามและเนื่องจากการรวมเข้ากับ Chromadb
• การฝังข้อความ: การฝังข้อความโดยการฝึกอบรมก่อนการฝึกอบรมที่ไม่ได้รับการดูแลอย่างอ่อนแอ (E5-base-V2) เนื่องจากคะแนนสูงในงานดึงข้อมูลตามกระดานผู้นำภาษาอังกฤษ MTEB
• รหัสอาคารออนแทรีโอ (แคนาดา): เพื่อสร้างตัวอย่างว่าคนงานที่ไม่ใช่เทคโนโลยีจะได้รับประโยชน์จากแอปพลิเคชัน LLM อย่างไร หน้ารหัสไม่ใช่เรื่องง่ายที่จะนำทางเนื่องจากส่วนนี้มีชื่อว่า "ส่วนที่ 1", "ส่วนที่ 2" ... , "มาตรา 14" ใช้เว็บไซต์ของพวกเขาเพื่อแยกวิเคราะห์และแปลงเป็นร้านค้าเวกเตอร์
• ร้านค้าเวกเตอร์: Chromadb
• การปรับใช้: HuggingFace Space และ Gradio มีการปรับใช้ที่นี่: Dolly Expert Builder

ความท้าทายที่เราพบ

เนื่องจากเครื่องมือใหม่มากความแตกต่างบางอย่างจากกรณีการใช้งานมาตรฐานทำให้เกิดข้อผิดพลาด ตัวอย่างเช่น:

• ความล้มเหลวในการใช้หน่วยความจำและแหล่งข้อมูลในห่วงโซ่ตอบคำถามเดียวกันใน Langchain วิธีแก้ปัญหาถูกนำมาใช้โดยการสร้างคลาสที่สืบทอดมาจากคลาสหน่วยความจำ
• ข้อผิดพลาดเมื่อเว็บลื่นไหลโดยใช้ sitemaps ในขณะที่อยู่ในสมุดบันทึก Jupyter สิ่งนี้สามารถหลีกเลี่ยงได้โดยใช้วิธีแก้ปัญหา NEST_ASYNCIO
• ฐานข้อมูลเวกเตอร์ไม่โหลด อีกประเด็นหนึ่งในการพัฒนา Langchain มันจะบันทึกบางส่วนเมื่อใช้ persists_directory ในการเริ่มต้น Chromadb และจะไม่โหลดในภายหลังในอินสแตนซ์แยกต่างหากเนื่องจากวิธี. persists () ไม่ได้เรียก สิ่งนี้จะต้องทำซ้ำและมุ่งมั่นอีกครั้งเพื่อให้ฐานข้อมูลพร้อมใช้งานในที่สุด
• แอพ gradio ไม่เปิดตัวในสมุดบันทึก Jupyter วิธีแก้ปัญหาก่อนหน้านี้เปลี่ยนการติดตั้ง Asyncio ในพื้นที่ซึ่งเป็นข้อกำหนดของ Gradio ทำให้ไม่สามารถใช้งานได้ในระหว่างการรันไทม์เดียวกัน เพื่อหลีกเลี่ยงสิ่งนี้ฐานข้อมูลเวกเตอร์ได้ทำในสมุดบันทึกแยกต่างหากและมุ่งมั่นที่จะซื้อคืน
• การอนุมานช้ามากใน CPU เนื่องจากไม่มีแบบจำลองดอลลี่เชิงปริมาณอย่างเป็นทางการใช้ CPU สำหรับการอนุมานจึงมีความหน่วงแฝงสูงมาก ฉันยังหมดการทดลองใช้ Databricks ฟรีเมื่อถึงเวลาส่ง โชคดีที่รหัสนั้นใช้งานได้แล้วและฉันก็สามารถปรับใช้และทดสอบออนไลน์บนพื้นที่ T4-small

ความสำเร็จที่เราภูมิใจ

ความสามารถในการสร้างต้นแบบน้ำหนักเบาที่ใช้งานได้ของแอปพลิเคชัน LLM โดยใช้โมเดลโอเพนซอร์ซเช่น Dolly และปรับใช้เป็นพื้นที่กอด ความสามารถในการแสดงให้เห็นว่าแอพพลิเคชั่น LLM นั้นมีไว้สำหรับทุกคนและระบบนิเวศโอเพนซอร์ซนั้นมีความสามารถเท่ากับผู้บุกเบิกแหล่งข่าวปิด

สิ่งที่เราเรียนรู้

ในแง่ของความรู้การพัฒนาซอฟต์แวร์ทั่วไปฉันเรียนรู้ที่จะแก้ไขปัญหาแพ็คเกจที่ขัดแย้งกันได้เรียนรู้ว่า Python จะต้องเริ่มต้นใหม่ขึ้นอยู่กับการติดตั้งที่ติดตั้งหรือบางครั้งมันจะดีกว่าที่จะแยกงานแทนพยายามทำทุกอย่างในครั้งเดียว ฉันยังได้เรียนรู้พื้นฐานของ Gradio เพื่อให้สามารถสร้างแอพได้ และที่สำคัญที่สุดฉันเรียนรู้ที่จะนำทางปัญหา GitHub และโพสต์ stackoverflow เพื่อค้นหาวิธีแก้ปัญหาสำหรับปัญหาที่ฉันพบ

ในแง่ของความรู้ที่เกี่ยวข้องกับ LLM ฉันได้เรียนรู้เกี่ยวกับความสำคัญของวิศวกรรมที่รวดเร็วและวิธีการปรับปรุงผลลัพธ์การอนุมานของคุณอย่างมากฉันเรียนรู้ที่จะนำทางคำศัพท์การประมวลผลภาษาธรรมชาติ (NLP) มากขึ้นและฉันเรียนรู้เกี่ยวกับประเภทของหน่วยความจำห่วงโซ่คำถาม ฉันยังได้เรียนรู้ด้วยว่าโมเดลโอเพนซอร์ซให้ความเป็นไปได้ในการพัฒนาและปรับใช้แอปพลิเคชัน LLM ให้กับใครก็ตามที่สนใจและใช้เวลาในการวิจัยเอกสารและแก้ไขปัญหาหรือปัญหาในปัจจุบัน

สิ่งต่อไปสำหรับ Dolly Expert Lite

• หลายภาษา: สำหรับการทำซ้ำครั้งต่อไปของ Dolly Expert Lite ฉันต้องการทดลองและดูว่าฉันจะได้ผลลัพธ์ที่ดีในการสร้างร้านค้าเวกเตอร์โดยใช้ข้อมูลในภาษาอื่น ๆ และการฝังแบบหลายภาษา นั่นจะช่วยให้การพัฒนาแอพพลิเคชั่นที่ไม่ใช่ทั่วไปอื่น ๆ ไม่เห็นในบทช่วยสอนหรือไกด์ยอดนิยม ตัวอย่างเช่นผู้ช่วยทางกฎหมายที่จะช่วยในการนำทางพระราชบัญญัติแรงงานของเม็กซิโกหรือผู้ช่วยด้านการปฏิบัติตามกฎระเบียบที่สามารถตีความภาษาฝรั่งเศสแคนาดาได้
• ประสิทธิภาพ: เพื่อปรับปรุงความเร็วในการอนุมานฉันต้องการดูการปรับแต่ง Dolly สำหรับการตอบคำถามและตรวจสอบว่ามีวิธีการหาปริมาณที่ฉันสามารถใช้ในการลองและใช้โมเดล 12B หรือ 7B ในขณะที่พยายามรักษาเวลาการอนุมานที่ค่อนข้างสั้น ฉันยังสนใจในห้องสมุดที่เหมาะสมและต้องการทำงานในกรณีการใช้งานสำหรับ Intel Neural Stick ซึ่งอาจเป็นทางเลือกที่เหมาะสมสำหรับการอนุมานในท้องถิ่น
• หน่วยความจำ: สำหรับคุณสมบัติใหม่ฉันต้องการลองใช้หน่วยความจำกราฟความรู้เพื่อจัดเก็บรายการคีย์ในการสนทนาทำให้สามารถใช้เครื่องมือสำหรับกรณีที่ซับซ้อนมากขึ้น ตัวอย่างเช่นการชี้แจงว่ามีการปฏิบัติตามข้อกำหนดด้านกฎระเบียบหรือไม่และหากไม่เป็นเช่นนั้นข้อกำหนดจะถูกทำลายและอธิบายไว้สำหรับการดำเนินการอย่างไร