Wingman

ทำให้โมเดลการเรียนรู้ของเครื่อง (LLM) ของคุณมีข้อมูลของคุณเอง
มาพร้อมกับเครื่องกำเนิดไฟฟ้าการฝังอัตโนมัติและอินเทอร์เฟซถามตอบแบบจำลอง
ดูการสาธิต·รายงานข้อบกพร่อง·คุณลักษณะการร้องขอ

สารบัญ

1. เกี่ยวกับโครงการ
   • อนิเมชั่นสาธิต
   • สร้างขึ้นด้วย
2. เริ่มต้น
   • ข้อกำหนดเบื้องต้น
   • การติดตั้ง
3. การใช้งาน
4. แผนงาน
5. การบริจาค
6. ใบอนุญาต
7. ติดต่อ
8. กิตติกรรมประกาศ

เกี่ยวกับโครงการ

pretrain โมเดลการเรียนรู้ของเครื่อง (LLM) โดยอัตโนมัติด้วย:

• ไฟล์ PDF
• ที่เก็บ GitHub
• คัดลอกไฟล์ HTML ในโฟลเดอร์ท้องถิ่น

เครื่องมือนี้จะยอมรับอินพุตในรูปแบบของ GitHub repo url, ไฟล์ PDF หรือโฟลเดอร์ไฟล์ HTML ท้องถิ่นและดำเนินการดังต่อไปนี้:

 generate_embedding_github/pdf.py
• Break apart your input data into manageable chunks
• Send chunked data to Ray Serve Cluster
• Use Ray Cluster to create an embedding from our input chunks

serve run serve:deployment
• Use Ray Cluster to download a Foundational Model
• Load Foundation Model with our Embedding on top
• Start a WebServer and make the Model available via api

query.py "what is the api endpoint to get a list of agents"
• Allow you to interface with the model through the API

เครื่องมือนี้มีไว้สำหรับทุกคนที่ต้องการฝึก LLM บนแหล่งความรู้เฉพาะอย่างง่าย

Wingman ถูกสร้างขึ้นบนคลัสเตอร์เรย์เพื่อให้สามารถปรับขนาดและกระจายได้หรือสามารถทำงานบนเครื่องเดียวได้

---

อนิเมชั่นสาธิต

สร้างขึ้นด้วย

โครงการนี้ (และอื่น ๆ อีกมากมาย) จะเป็นไปไม่ได้หากไม่มีสิ่งต่อไปนี้:

การเชื่อมโยง	ชื่อ	ผู้พัฒนา	คำอธิบาย
การเชื่อมโยง	คน	การวิจัย Facebook	ห้องสมุดสำหรับการค้นหาความคล้ายคลึงกันอย่างมีประสิทธิภาพและการจัดกลุ่มของเวกเตอร์หนาแน่น
การเชื่อมโยง	คนขี้เกียจ	คนขี้เกียจ	Langchain เป็นกรอบสำหรับการพัฒนาแอพพลิเคชั่นที่ขับเคลื่อนด้วยโมเดลภาษา
การเชื่อมโยง	เรย์	โครงการเรย์	เรย์เป็นเฟรมเวิร์กแบบครบวงจรสำหรับการปรับขนาดแอปพลิเคชัน AI และ Python เรย์ประกอบด้วยรันไทม์แบบกระจายหลักและชุดของไลบรารี AI สำหรับการเร่งเวิร์กโหลด ML
การเชื่อมโยง	งูหลาม	มูลนิธิซอฟต์แวร์ Python	Python เป็นภาษาการเขียนโปรแกรมระดับสูงทั่วไป ปรัชญาการออกแบบเน้นการอ่านรหัสด้วยการใช้การเยื้องที่สำคัญ
การเชื่อมโยง	pytorch	มูลนิธิ Linux	เทนเซอร์และเครือข่ายประสาทแบบไดนามิกใน Python ด้วยการเร่งความเร็ว GPU ที่แข็งแกร่ง
การเชื่อมโยง	ซุปสวย	Leonard Richardson	ซุปที่สวยงามเป็นไลบรารี Python สำหรับการดึงข้อมูลออกจากไฟล์ HTML และ XML มันใช้งานได้กับตัวแยกวิเคราะห์ที่คุณชื่นชอบเพื่อให้วิธีการสำรวจการค้นหาการค้นหาและการปรับเปลี่ยนต้นไม้แยกวิเคราะห์
การเชื่อมโยง	Typing_inspect	Ivan Levkivskyi	โมดูล Typing_Inspect กำหนด API ทดลองสำหรับการตรวจสอบรันไทม์ของประเภทที่กำหนดไว้ในโมดูลการพิมพ์มาตรฐาน Python

เริ่มต้น

เพื่อรับสำเนาท้องถิ่นและเรียกใช้ทำตามขั้นตอนง่าย ๆ เหล่านี้

ข้อกำหนดเบื้องต้น

• 16+GB ของ VRAM (แนะนำ 24GB)
• Linux หรือ WSL
• ไม่ว่าคุณต้องการสภาพแวดล้อมเสมือนจริงของ Python
  (เราชอบ Miniconda)

การติดตั้ง

เมื่อคุณอยู่ในโฟลเดอร์โครงการและโหลดสภาพแวดล้อม VENV/Conda ของคุณให้เรียกใช้สิ่งต่อไปนี้:

1. PIP Install -r rechent.txt
2. python generate_embedding_pdf.py ./pathto/local.pdf
3. (ไม่บังคับ) แก้ไขพรอมต์ใน Serve.py On Line 30 เพื่อให้เหมาะกับกรณีการใช้งานของคุณ
4. รับใช้เสิร์ฟ: การปรับใช้
5. python query.py "จุดสิ้นสุดของ API คืออะไรเพื่อปิดใช้งานการรวบรวมข้อมูลสำหรับตัวแทนที่ระบุ"

การเพิ่มตัวเรียกใช้งานชั่วคราวรวมถึง UI นั้นทั้งคู่อยู่ในแผนงานปัจจุบันสำหรับรุ่นโอเพนซอร์สนี้

การใช้งาน

 python query.py "what is the api endpoint to disable data collection for a specified agent"
/api/sn_agent/agents/{agent_id}/data/off.

python query.py "what is the api endpoint for the ActivitySubscriptions API"
The API endpoint for the ActivitySubscriptions API is /now/actsub/activities.

python query.py "what is the api endpoint to get a list of agents"
The API endpoint to get a list of agents is "/api/sn_agent/agents/list.

python query.py "what is the api endpoint of the Agent Client Collector API"
The API endpoint of the Agent Client Collector API is "https://<sn_agent-host>:<sn_agent-port>/api/agent-client-collector/admin".

แผนงาน

สำหรับคุณสมบัติเพิ่มเติมเช่นการอ้างอิงหมายเลขหน้า, การรวบรวมภาษาการเขียนโปรแกรมเพิ่มเติม, ท่อมัลติ LLM (สรุปข้อความที่เกี่ยวข้องเพื่อการใช้บริบทที่ดีขึ้น), การสนับสนุนแบบจำลอง mulimodal (ฝึกอบรมความรู้ของคุณโดยใช้ข้อมูลในภาพ) เพิ่มความแม่นยำในการสนับสนุน ชุดซอฟต์แวร์ระดับองค์กร

• สร้าง readme
• สร้างข้อกำหนด. txt
• ปรับแต่งข้อกำหนด. txt
• สคริปต์ตัวเรียกใช้งานพื้นฐาน
• ภาพหน้าจอ
• ส่วนต่อประสานผู้ใช้
• ห้องสมุดฝัง
• การสนับสนุนแบบจำลองเชิงปริมาณ
• trust_remote_code ผ่าน kwargs
• การสนับสนุนอุปกรณ์ขั้นสูง _map
• การสนับสนุนหลายภาษา
  • ชาวจีน
  • เกี่ยวกับภาษาสเปน
  • ชาวรัสเซีย

ดูปัญหาเปิดสำหรับรายการคุณสมบัติที่เสนอทั้งหมด (และปัญหาที่รู้จัก)

การบริจาค

การมีส่วนร่วมคือสิ่งที่ทำให้ชุมชนโอเพ่นซอร์สเป็นสถานที่ที่น่าทึ่งในการเรียนรู้สร้างแรงบันดาลใจและสร้าง การมีส่วนร่วมใด ๆ ที่คุณทำ จะได้รับการชื่นชมอย่างมาก

หากคุณมีข้อเสนอแนะที่จะทำให้สิ่งนี้ดีขึ้นโปรดแยก repo และสร้างคำขอดึง นอกจากนี้คุณยังสามารถเปิดปัญหาด้วยแท็ก "การปรับปรุง" อย่าลืมให้โครงการเป็นดารา! ขอบคุณอีกครั้ง!

1. แยกโครงการ
2. สร้างสาขาคุณลักษณะของคุณ ( git checkout -b feature/AmazingFeature )
3. กระทำการเปลี่ยนแปลงของคุณ ( git commit -m 'Add some AmazingFeature' )
4. Push to the Branch ( git push origin feature/AmazingFeature )
5. เปิดคำขอดึง

ใบอนุญาต

การใช้งานเชิงพาณิชย์ต้องห้าม

ติดต่อเราสำหรับใบอนุญาตเชิงพาณิชย์สำหรับเวอร์ชันองค์กรของเรา

ติดต่อ

Christian Mirra - LinkedIn

ลิงค์โครงการ: https://github.com/seemirra/wingman/

กิตติกรรมประกาศ

TODO - รายการนี้ไม่สมบูรณ์ในขณะนี้