LLM Minutes of Meeting
1.0.0
| Sr. No. | Topik | Link |
|---|---|---|
| 0. | Pendahuluan dan "Mengapa" dari proyek tersebut | Tautan akan datang ke sini |
| 1. | Pengaturan dan Instalasi | Tautan akan datang ke sini |
| 2. | Fitur | Tautan lain |
| 3. | Demo dan screenshot aplikasi | Tautan lain |
| 4. | Pendekatan dan Implementasi* | Tautan lain |
| 5. | Pembaruan terbaru dan arah masa depan | Tautan lain |
| 6. | Kontribusi | Tautan lain |
| 7. | Masalah/Pemecahan Masalah | Tautan lain |
Tujuan utama dari proyek ini adalah untuk memamerkan kemampuan NLP & LLM untuk dengan cepat merangkum pertemuan panjang dan membantu Anda dan organisasi Anda mengotomatiskan tugas mendelegasikan email risalah rapat (MOM). Ini menggunakan pendekatan Level 2 Langkah Tinggi di mana Langkah 1 sesuai dengan konversi file audio/video apa pun menjadi percakapan teks. Langkah 2 Memanfaatkan teks yang diproduksi oleh Langkah 1 dan menghasilkan menit pertemuan dan catatan ringkasan terperinci. Risalah pertemuan ini akan menjadi bagian teks yang dapat diedit. Setelah Anda menyelesaikan ibu, Anda dapat menggunakannya lebih lanjut sesuai kebutuhan Anda.
Tujuan jangka panjang untuk repositori ini juga untuk mengembangkan aplikasi web python waktu nyata yang dapat menghadiri pertemuan untuk Anda dan juga memberi Anda ibu di akhir pertemuan. Mengambil langkah bayi dan mencoba mencapai jangka panjang dengan memulai tujuan jangka pendek.
Untuk informasi Anda: Saya sedang mengerjakan LLM dan pengembangan kustom yang menyempurnakan. Harap bersabar sementara seluruh proyek benar -benar stabil. Saya akan menambahkan pelatihan & kode inferensi setelah selesai. Lakukan repositori ini jika Anda perlu mengetahui pembaruan terbaru. ? Hargai waktu Anda.
Sebelum melanjutkan, pastikan Anda menginstal berikut:
virtualenv atau venv .Mari kita mulai langkah instalasi sekarang.
Klon Repositori GitHub
Buka terminal atau prompt perintah Anda dan navigasikan ke direktori tempat Anda ingin mengkloning repositori. Kemudian jalankan:
git clone https://github.com/inboxpraveen/LLM-Minutes-of-Meeting
cd LLM-Minutes-of-MeetingPasang persyaratan
Ini adalah praktik yang baik untuk menciptakan lingkungan virtual sebelum memasang dependensi untuk menghindari potensi konflik dengan proyek Python lainnya. Jika Anda menggunakan virtualenv , Anda dapat mengatur lingkungan baru sebagai berikut:
# # Create a python virtual environment and activate it.
# Install the required packages after activating:
pip install -r requirements.txt
# # After this, let's install Llama-Cpp-Python binding which will be used to interact with LLMs.
# # Run the following line if you are using it on a CPU.
pip install llama-cpp-python
# # Run the following line if you are using GPU (T4, A100, A10, or H100), or any Nvidia Cuda based GPU Drivers.
CMAKE_ARGS= " -DLLAMA_CUDA=on " pip install llama-cpp-python
# # If you are on Mac or any other GPU types, you can refer the following links and setup the Llama-Cpp-Python
https://llama-cpp-python.readthedocs.io/en/stable/ # installation-configuration
https://llama-cpp-python.readthedocs.io/en/stable/install/macos/Pengaturan Rabbitmq & Celery Latar Belakang Pemrosesan Pekerjaan
Gunakan tautan berikut untuk mengatur RabbitMQ di mesin Anda. Ikuti petunjuk sampai langkah 5 dan simpan admin-username & password Anda.
Pengaturan RabbitMQ di Ubuntu 22.04
Setelah Anda berhasil mengatur RabbitMQ, kemudian mengatur Redis-Server dan Celery. Gunakan perintah berikut untuk mengatur dan menginstalnya.
sudo apt-get update -y
# # Try with apt-get. If it does not install, then run with apt.
sudo apt-get install redis-server -y
# # If the above does not work, try this:
sudo apt install redis-server -yJalankan Aplikasi dan Tugas Seledri Paralel
Pertama, mulailah aplikasi Flask:
cd /path/to/project/dan kemudian buka file app.py di dalam editor kode Anda dan memodifikasi baris berikut.
Line 18 : broker = 'amqp://<user>:<password>$@localhost:5672//'
## Update <user> with "your-admin-username".
## Update <password> with "your-admin-password"
## Eg: broker='amqp://admin:hello_world$@localhost:5672//'
### IMPORTANT NOTE: If your password contains '@' symbol, you will need to convert it because it is the default delimiter in broker settings. Example if your password has @ symbol inside it would be.
## broker='amqp://admin:hello%40world$@localhost:5672//' -- where the original password was "hello@world", we represent it as 'hello%40world' Setelah Anda memperbarui file, Anda akan menjalankan file setup.py untuk mengatur direktori dan mengunduh model. Jika Anda ingin mengubah konfigurasi model mana yang ingin Anda gunakan, Anda dapat mengubahnya dengan tepat berdasarkan ukuran infrastruktur dan kapasitas sistem Anda. Tabel berikut menunjukkan model mana yang kami dukung saat ini dalam proyek ini tetapi kami akan menambahkan dukungan LLMS baru karena kami melihatnya cocok dan open-source.
Model ucapan didukung
| Nama model | Ukuran model | Memori dibutuhkan (RAM atau VRAM) |
|---|---|---|
| Distil-Whisper/Distil-Large-V3 | 3.1 GB | 4 GB |
| Distil-Whisper/Distil-Large-V2 | 3.1 GB | 4 GB |
| distil-whisper/distil-medium.en | 1,6 GB | 2 GB |
| Distil-whisper/distil-small.en | 680 MB | 900 MB |
| Openai/Whisper-Large-V3 | 6.2 GB | 7,5 GB |
| Openai/Whisper-Large-V2 | 6.2 GB | 7,5 GB |
| Openai/Whisper-Large-V1 | 6.2 GB | 7,5 GB |
| Openai/Whisper-Medium | 3.2 GB | 4,5 GB |
| Openai/Whisper-Small (default) | 980 MB | 1,7 GB |
LLMS didukung
| Nama model | Ukuran model | Memori diperlukan |
|---|---|---|
| QuantFactory/phi-3-mini-4k-instruct-gguf (default) | 1 GB - 8 GB | 2 GB - 14 GB |
| QuantFactory/phi-3-mini-128k-instruct-GGUF | 1 GB - 8 GB | 2,5 GB - 16 GB |
| Bartowski/phi-3-medium-128k-instruct-GGUF | 3 GB - 14 GB | 6 GB - 18 GB |
Anda perlu memodifikasi file global_varibables.py dengan nama model yang Anda pilih dan kemudian jalankan file setup.py yang secara otomatis turun ke model yang Anda pilih.
Line 32 : DEFAULT_SPEECH_MODEL = "openai/whisper-small"
...
Line 46 : DEFAULT_SUMMARY_MODEL = ( "QuantFactory/Phi-3-mini-4k-instruct-GGUF" , "Phi-3-mini-4k-instruct.Q5_0.gguf" )
### After update the above lines as per your need, run the setup.py
python setup . pyDi jendela terminal baru (pastikan lingkungan virtual Anda diaktifkan di sini juga), mulailah aplikasi dan pekerja seledri:
python app.py # ensure your environment is activated
# and then in new terminal, run the following.
celery -A app.celery worker --loglevel=info -f celery.logsUnggah perekaman untuk membentuk
Buka browser web Anda dan navigasikan ke URL aplikasi Flask (biasanya http://127.0.0.1:5000 ). Gunakan antarmuka untuk mengunggah rekaman pertemuan Anda.
Dapatkan status terbaru dan tunggu selesai
Setelah mengunggah perekaman, Anda dapat memeriksa status pemrosesan. Ini dapat diimplementasikan sebagai halaman status atau bilah kemajuan dalam aplikasi Anda. Tunggu sampai pemrosesan selesai.
Lihat Risalah Pertemuan Terakhir yang Diproses (Ibu)
Setelah pemrosesan selesai, aplikasi harus menampilkan menit -menit terakhir pertemuan. Anda dapat melihat, mengedit (jika fitur tersedia), dan menyimpan ibu untuk referensi Anda.
Konversi file audio dan video dengan mudah menjadi transkrip teks yang akurat: Ini juga dapat digunakan untuk meringkas, menghasilkan item tindakan, memahami aliran kerja, dan perencanaan sumber daya.
Sorotan Kata Kunci dan Penandaan Topik untuk Referensi Cepat: Mengekstraksi Topik dan Menemukan Konten yang Relevan Untuk Melewati Rapat dan Dengarkan Hanya Topik Khusus Yang Menarik Anda.
Risalah ekspor dalam berbagai format, termasuk PDF dan teks biasa: memungkinkan Anda untuk mengekspor transkrip pertemuan, ringkasan, topik & kata kunci, item tindakan, dll ke dalam dokumen yang dapat digunakan dalam kerangka perencanaan dan manajemen proyek. Juga menghilangkan kebutuhan Anda untuk menulis dan menghasilkan templat secara manual.
Antarmuka yang ramah pengguna untuk kustomisasi dan integrasi yang mudah: Mudah untuk mengubah model sumber open-source atau tertutup yang ingin Anda pilih.
Fungsionalitas inti berkisar pada pemrosesan rekaman pertemuan yang dikirimkan melalui halaman beranda aplikasi web. Setelah rekaman dikirimkan, tugas latar belakang dimulai menggunakan Celery, yang melakukan dua operasi utama: konversi ucapan-ke-teks dan menghasilkan menit pertemuan dari teks yang dikonversi.
Diagram alur yang telah Anda bagikan menguraikan proses terperinci untuk menangani dan memproses file media, terutama yang berfokus pada input audio dan video untuk menghasilkan transkripsi dan ringkasan. Mari kita uraikan setiap langkah dan jelaskan solusi tingkat tinggi yang terlibat dalam alur kerja ini:
Sebelum melanjutkan, pastikan Anda menginstal berikut:
virtualenv atau venv .requirements.txt kompatibel. Dalam fase 2 proyek kami, kami berencana untuk memungkinkan transkripsi pertemuan real-time. Bergabunglah dengan kami dalam membentuk masa depan pertemuan yang efisien dan kolaboratif!
? Ikuti saya untuk pembaruan tentang pengembangan Fase 2 dan peningkatan lainnya untuk membuat pertemuan Anda lebih produktif.
? Mendorong kontribusi dari masyarakat untuk menjadikan alat ini sebagai game-changer untuk pertemuan di mana-mana. Berkontribusi ide dan keahlian Anda untuk membantu kami mencapai transkripsi real-time!
