LLM_File_Parser
1.0.0
Versi 0,02 dari Parser File LLM oleh libraryofcelsus.com
Panduan Instalasi
Lewati ke Changelog
Server Perselisihan
Perubahan terbaru
• 07/17 Domain pengetahuan tambahan sebagai indeks terpisah sehingga domain yang ada dapat dicari dengan vektor.
• 07/12 rilis pertama
Proyek ini adalah bagian dari proyek Aetherius saya yang lebih besar dan dirancang untuk merampingkan proses mengubah data yang tidak terstruktur menjadi database dan set data terstruktur. Program ini berada di bawah Automl dan menggunakan berbagai teknik LLM untuk memindai, memotong, dan merangkum dokumen yang tidak terstruktur, mengubahnya menjadi data terstruktur dengan input pengguna minimal.
Jenis file yang didukung saat ini: .epub, .pdf, .txt, .png, .jpg, .jpeg, .mp4, .mkv, .flv, dan .av
Chatbots menggunakan format ini:
� Proyek ini berfungsi sebagai pengunggah dokumen untuk: https://github.com/libraryofcelsus/advanced_rag_chatbot
Asisten AI Main Github: https://github.com/libraryofcelsus/aethius_ai_assistant
Pekerjaan AI saya didanai sendiri oleh pekerjaan sehari-hari saya, pertimbangkan untuk mendukung saya jika Anda menghargai pekerjaan saya.
Bergabunglah dengan Perselisihan untuk bantuan atau untuk mendapatkan lebih banyak informasi mendalam!
Server Discord: https://discord.gg/pb5zcna7ze
Berlangganan YouTube saya untuk tutorial video: https://www.youtube.com/@libraryofcelsus (saluran belum diluncurkan)
Tutorial kode tersedia di: https://www.libraryofcelsus.com/research/public/code-tutorials/
Dibuat oleh: https://github.com/libraryofcelsus
0,02
• Domain pengetahuan tambahan sebagai indeks terpisah sehingga domain yang ada dapat dicari dengan vektor.
0,01
• Rilis pertama
Unduh folder Zip Project dengan menekan menu drop -down kode <>.
1. Instal Python 3.10.6, pastikan Anda menambahkannya ke jalur: https://www.python.org/downloads/release/python-3106/
2. Jalankan "install_requirements.bat" untuk menginstal dependensi yang dibutuhkan. Kelelawar akan menginstal Git, Poppler, Tesseract, FFMPEG, dan dependensi Python yang dibutuhkan.
(Jika Anda mendapatkan kesalahan saat menginstal persyaratan Run: Python -M Pip Cache Purge )
3. Siapkan Qdrant atau Marqo DB. Untuk mengubah DB apa yang digunakan, edit kunci "Vector_DB" di ./settings.json. Qdrant adalah default.
Qdrant Docs: https://qdrant.tech/documentation/guides/installation/
MARQO DOCS: https://docs.marqo.ai/2.9/
� Untuk menggunakan server Qdrant lokal, instal pertama Docker: https://www.docker.com.
Tipe Berikutnya: Docker Tarik Qdrant/Qdrant: v1.9.1 Dalam prompt perintah.
Setelah selesai diunduh, ketik Docker Run -P 6333: 6333 Qdrant/Qdrant: v1.9.1
Untuk menggunakan server Marqo lokal, instal pertama Docker: https://www.docker.com.
Tipe Berikutnya: Docker Pull Marqoai/Marqo: Terbaru di prompt perintah.
Setelah selesai diunduh, Type Docker Run --Name Marqo --gpus All -P 8882: 8882 Marqoai/Marqo: Terbaru
(Jika memberikan kesalahan, periksa tab Docker Containers untuk wadah baru dan tekan tombol Start. Terkadang gagal memulai.)
Lihat: https://docs.docker.com/desktop/backup-and-restore/ untuk cara membuat cadangan.
Setelah server DB vektor lokal berjalan, itu harus dideteksi secara otomatis oleh skrip.
6. Instal API yang Anda inginkan. (Tidak diperlukan jika menggunakan OpenAi) untuk mengubah API apa yang digunakan, edit kunci "API" di ./settings.json
https://github.com/oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp
8. Luncurkan skrip dengan salah satu run _*.
9. Ubah informasi di dalam tab "Pengaturan" ke preferensi Anda.
10. Masukkan file di folder yang sesuai di direktori ./uploads. Folder unggahan akan dibuat saat pertama kali menjalankan skrip pemrosesan file.
Untuk membuat Whisper bekerja dengan CUDA, Anda mungkin perlu menjalankan perintah:
. Venv Script Activate
Pip uninstall obor torchaudio
Pip Instal Torch Torchvision Torchaudio -f https://download.pytorch.org/whl/cu118/torch_stable.html
Jika Anda ingin mengubah format di mana data diunggah ke vektor DB, skrip unggahan dapat ditemukan di ./resources/db_upload
Pada Januari 2023, saya memiliki pengalaman perdananya dengan Chatgpt dan LLMS secara umum. Sejak saat itu, saya sangat terobsesi dengan AI, mendedikasikan berjam-jam setiap hari untuk mempelajarinya dan untuk eksperimen langsung.
Perselisihan: Libraryofcelsus -> Gaya Nama Pengguna Lama: Celsus#0262
Mega Chat: https://mega.nz/c!pmnmeizq
