LLM_File_Parser
1.0.0
เวอร์ชัน 0.02 ของ LLM File Parser โดย LibraryOfCelsus.com
คู่มือการติดตั้ง
ข้ามไปยัง Changelog
เซิร์ฟเวอร์ Discord
การเปลี่ยนแปลงล่าสุด
• 07/17 เพิ่มโดเมนความรู้เป็นดัชนีแยกดังนั้นโดเมนที่มีอยู่สามารถค้นหาได้ด้วยเวกเตอร์
• 07/12 รุ่นแรก
โครงการนี้เป็นส่วนหนึ่งของโครงการ Aetherius ที่มีขนาดใหญ่กว่าของฉันและได้รับการออกแบบมาเพื่อปรับปรุงกระบวนการเปลี่ยนข้อมูลที่ไม่มีโครงสร้างให้เป็นฐานข้อมูลและชุดข้อมูลที่มีโครงสร้าง โปรแกรมอยู่ภายใต้ AUTOML และใช้เทคนิค LLM ต่างๆเพื่อสแกนก้อนและสรุปเอกสารที่ไม่มีโครงสร้างเปลี่ยนเป็นข้อมูลที่มีโครงสร้างด้วยการป้อนข้อมูลผู้ใช้น้อยที่สุด
ประเภทไฟล์ที่รองรับปัจจุบัน: .epub, .pdf, .txt, .png, .jpg, .jpeg, .mp4, .mkv, .flv และ .av
chatbots โดยใช้รูปแบบนี้:
�โครงการนี้ทำหน้าที่เป็นผู้อัปโหลดเอกสารสำหรับ: https://github.com/libraryofcelsus/advanced_rag_chatbot
ผู้ช่วย AI หลัก GitHub: https://github.com/libraryofcelsus/aetherius_ai_assistant
งาน AI ของฉันได้รับเงินสนับสนุนตนเองจากงานประจำวันพิจารณาสนับสนุนฉันหากคุณชื่นชมงานของฉัน
เข้าร่วม Discord เพื่อขอความช่วยเหลือหรือรับข้อมูลเชิงลึกเพิ่มเติม!
Discord Server: https://discord.gg/pb5zcna7ze
สมัครสมาชิก YouTube สำหรับการสอนวิดีโอ: https://www.youtube.com/@libraryofcelsus (ยังไม่เปิดตัวช่อง)
บทช่วยสอนโค้ดที่: https://www.libraryofcelsus.com/research/public/code-tutorials/
ทำโดย: https://github.com/libraryofcelsus
0.02
•เพิ่มโดเมนความรู้เป็นดัชนีแยกดังนั้นโดเมนที่มีอยู่สามารถค้นหาได้ด้วยเวกเตอร์
0.01
•รุ่นแรก
ดาวน์โหลดโฟลเดอร์ Project Zip โดยกดเมนู Drop Down <> รหัส
1. ติดตั้ง Python 3.10.6 ตรวจสอบให้แน่ใจว่าคุณเพิ่มลงในเส้นทาง: https://www.python.org/downloads/release/python-3106/
2. เรียกใช้ "install_requirements.bat" เพื่อติดตั้งการพึ่งพาที่ต้องการ ค้างคาวจะติดตั้ง git, poppler, tesseract, ffmpeg และการพึ่งพา python ที่จำเป็น
(หากคุณได้รับข้อผิดพลาดเมื่อติดตั้งข้อกำหนด Run: Python -M Pip Cache Purge )
3. ตั้งค่า Qdrant หรือ Marqo DB หากต้องการเปลี่ยนสิ่งที่ DB ใช้ให้แก้ไขคีย์ "vector_db" ใน./settings.json Qdrant เป็นค่าเริ่มต้น
เอกสาร Qdrant: https://qdrant.tech/documentation/guides/installation/
เอกสาร Marqo: https://docs.marqo.ai/2.9/
�ในการใช้เซิร์ฟเวอร์ Qdrant ในเครื่องแรกติดตั้ง Docker: https://www.docker.com
ประเภทถัดไป: Docker Pull QDRANT/QDRANT: V1.9.1 ในพรอมต์คำสั่ง
หลังจากดาวน์โหลดเสร็จแล้วให้พิมพ์ Docker Run -P 6333: 6333 QDDRANT/QDRANT: v1.9.1
หากต้องการใช้เซิร์ฟเวอร์ marqo ในเครื่องก่อนที่จะติดตั้ง Docker: https://www.docker.com
ประเภทถัดไป: Docker Pull Marqoai/Marqo: ล่าสุด ในพรอมต์คำสั่ง
หลังจากดาวน์โหลดเสร็จแล้วพิมพ์ Docker Run -Name Marqo -GPUS All -P 8882: 8882 Marqoai/Marqo: ล่าสุด
(หากมีข้อผิดพลาดให้ตรวจสอบแท็บคอนเทนเนอร์ Docker สำหรับคอนเทนเนอร์ใหม่และกดปุ่ม Start บางครั้งก็ไม่สามารถเริ่มต้นได้)
ดู: https://docs.docker.com/desktop/backup-and-restore/ สำหรับวิธีการสำรองข้อมูล
เมื่อเซิร์ฟเวอร์ DB เวกเตอร์ท้องถิ่นทำงานแล้วควรตรวจพบอัตโนมัติโดยสคริปต์
6. ติดตั้ง API ที่คุณต้องการ (ไม่จำเป็นถ้าใช้ openai) เพื่อเปลี่ยนสิ่งที่ API ใช้แก้ไขคีย์ "API" ใน./settings.json
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp
8. เรียกใช้สคริปต์ด้วยหนึ่งใน Run _*. BAT
9. เปลี่ยนข้อมูลภายในแท็บ "การตั้งค่า" เป็นการตั้งค่าของคุณ
10. ใส่ไฟล์ลงในโฟลเดอร์ที่สอดคล้องกันในไดเรกทอรี ./uploads โฟลเดอร์อัปโหลดจะถูกสร้างขึ้นเมื่อเรียกใช้สคริปต์การประมวลผลไฟล์เป็นครั้งแรก
เพื่อให้กระซิบทำงานกับ Cuda คุณอาจต้องเรียกใช้คำสั่ง:
. venv scripts เปิดใช้งาน
PIP ถอนการติดตั้ง Torch Torchaudio
PIP ติดตั้ง Torch Torchvision Torchaudio -f https://download.pytorch.org/whl/cu118/torch_stable.html
หากคุณต้องการเปลี่ยนรูปแบบที่ข้อมูลถูกอัปโหลดไปยัง DB เวกเตอร์สามารถพบสคริปต์การอัปโหลดได้ใน./resources/db_upload
ในเดือนมกราคม 2566 ฉันมีประสบการณ์เบื้องต้นกับ CHATGPT และ LLM โดยทั่วไป ตั้งแต่ช่วงเวลานั้นฉันได้หมกมุ่นอยู่กับ AI อย่างลึกซึ้งอุทิศชั่วโมงนับไม่ถ้วนในแต่ละวันเพื่อศึกษาและการทดลองภาคปฏิบัติ
Discord: Libraryofcelsus -> Old Username Style: Celsus#0262
Mega Chat: https://mega.nz/c!pmnmeizq
