LLM Minutes of Meeting
1.0.0
| ซีเนียร์ไม่ | หัวข้อ | การเชื่อมโยง |
|---|---|---|
| 0. | บทนำและ "ทำไม" ของโครงการ | ลิงค์จะมาที่นี่ |
| 1. | การตั้งค่าและการติดตั้ง | ลิงค์จะมาที่นี่ |
| 2. | คุณสมบัติ | ลิงค์อื่น |
| 3. | การสาธิตและภาพหน้าจอแอปพลิเคชัน | ลิงค์อื่น |
| 4. | แนวทางและการดำเนินการ* | ลิงค์อื่น |
| 5. | การอัปเดตล่าสุดและทิศทางในอนาคต | ลิงค์อื่น |
| 6. | ผลงาน | ลิงค์อื่น |
| 7. | ปัญหา/การแก้ไขปัญหา | ลิงค์อื่น |
วัตถุประสงค์หลักของโครงการนี้คือการแสดงความสามารถของ NLP & LLM ในการสรุปการประชุมที่ยาวนานอย่างรวดเร็วและช่วยคุณและองค์กรของคุณโดยอัตโนมัติในการมอบหมายนาทีการประชุม (MOM) อีเมล ใช้วิธีการขั้นตอนระดับสูง 2 ขั้นตอนที่ขั้นตอนที่ 1 สอดคล้องกับการแปลงไฟล์เสียง/วิดีโอใด ๆ เป็นบทสนทนาข้อความ ขั้นตอนที่ 2 ใช้ข้อความที่ผลิตโดยขั้นตอนที่ 1 และสร้างรายงานการประชุมและบันทึกสรุปโดยละเอียด นาทีการประชุมเหล่านี้จะเป็นข้อความที่แก้ไขได้ เมื่อคุณทำแม่เสร็จแล้วคุณสามารถใช้มันเพิ่มเติมตามความต้องการของคุณ
วัตถุประสงค์ระยะยาวสำหรับพื้นที่เก็บข้อมูลนี้คือการพัฒนาแอพพลิเคชั่นเว็บ Python แบบเรียลไทม์ซึ่งสามารถเข้าร่วมการประชุมสำหรับคุณและให้คุณแม่เมื่อสิ้นสุดการประชุม ทำตามขั้นตอนของทารกและพยายามไปสู่ระยะยาวโดยเริ่มต้นวัตถุประสงค์ระยะสั้น
สำหรับข้อมูลของคุณ: ฉันกำลังทำงานเกี่ยวกับการปรับแต่ง LLM และการพัฒนาที่กำหนดเอง โปรดอดทนในขณะที่โครงการทั้งหมดมีเสถียรภาพอย่างสมบูรณ์ ฉันจะเพิ่มรหัสการฝึกอบรมและการอนุมานเมื่อเสร็จสิ้น ทำที่เก็บนี้หากคุณต้องการทราบการอัปเดตล่าสุด - ขอบคุณเวลาของคุณ
ก่อนดำเนินการตรวจสอบให้แน่ใจว่าคุณติดตั้งดังต่อไปนี้:
virtualenv หรือ venvมาเริ่มขั้นตอนการติดตั้งกันเลย
โคลนที่เก็บ GitHub
เปิดเทอร์มินัลหรือคำสั่งของคุณและนำทางไปยังไดเรกทอรีที่คุณต้องการโคลนที่เก็บ จากนั้นเรียกใช้:
git clone https://github.com/inboxpraveen/LLM-Minutes-of-Meeting
cd LLM-Minutes-of-Meetingติดตั้งข้อกำหนด
เป็นวิธีปฏิบัติที่ดีในการสร้างสภาพแวดล้อมเสมือนจริงก่อนที่จะติดตั้งการพึ่งพาเพื่อหลีกเลี่ยงความขัดแย้งที่อาจเกิดขึ้นกับโครงการ Python อื่น ๆ หากคุณใช้ virtualenv คุณสามารถตั้งค่าสภาพแวดล้อมใหม่ได้ดังนี้:
# # Create a python virtual environment and activate it.
# Install the required packages after activating:
pip install -r requirements.txt
# # After this, let's install Llama-Cpp-Python binding which will be used to interact with LLMs.
# # Run the following line if you are using it on a CPU.
pip install llama-cpp-python
# # Run the following line if you are using GPU (T4, A100, A10, or H100), or any Nvidia Cuda based GPU Drivers.
CMAKE_ARGS= " -DLLAMA_CUDA=on " pip install llama-cpp-python
# # If you are on Mac or any other GPU types, you can refer the following links and setup the Llama-Cpp-Python
https://llama-cpp-python.readthedocs.io/en/stable/ # installation-configuration
https://llama-cpp-python.readthedocs.io/en/stable/install/macos/การตั้งค่า RabbitMQ & การประมวลผลงานพื้นหลังคี่
ใช้ลิงค์ต่อไปนี้เพื่อตั้งค่า RabbitMQ บนเครื่องของคุณ ทำตามคำแนะนำจนถึง ขั้นตอนที่ 5 และบันทึก admin-username และ password ของคุณ
ตั้งค่า RabbitMQ บน Ubuntu 22.04
เมื่อคุณตั้งค่า RabbitMQ สำเร็จแล้วตั้งค่า Redis-Server และ Celery ใช้คำสั่งต่อไปนี้เพื่อตั้งค่าและติดตั้ง
sudo apt-get update -y
# # Try with apt-get. If it does not install, then run with apt.
sudo apt-get install redis-server -y
# # If the above does not work, try this:
sudo apt install redis-server -yเรียกใช้งานคื่นฉ่าย
ก่อนอื่นให้เริ่มแอปพลิเคชัน Flask:
cd /path/to/project/จากนั้นเปิดไฟล์ app.py ภายในตัวแก้ไขรหัสของคุณและแก้ไขบรรทัดต่อไปนี้
Line 18 : broker = 'amqp://<user>:<password>$@localhost:5672//'
## Update <user> with "your-admin-username".
## Update <password> with "your-admin-password"
## Eg: broker='amqp://admin:hello_world$@localhost:5672//'
### IMPORTANT NOTE: If your password contains '@' symbol, you will need to convert it because it is the default delimiter in broker settings. Example if your password has @ symbol inside it would be.
## broker='amqp://admin:hello%40world$@localhost:5672//' -- where the original password was "hello@world", we represent it as 'hello%40world' หลังจากที่คุณอัปเดตไฟล์แล้วคุณจะเรียกใช้ไฟล์ setup.py เพื่อตั้งค่าไดเรกทอรีและดาวน์โหลดรุ่น หากคุณต้องการเปลี่ยนการกำหนดค่าของรุ่นที่คุณต้องการใช้คุณสามารถเปลี่ยนได้อย่างเหมาะสมตามขนาดโครงสร้างพื้นฐานและความจุของระบบ ตารางต่อไปนี้แสดงให้เห็นว่ารุ่นใดที่เราสนับสนุนในโครงการนี้ แต่เราจะเพิ่มการสนับสนุน LLMS ใหม่เนื่องจากเราเห็นว่าเหมาะสมและโอเพนซอร์ซ
รองรับแบบจำลองการพูด
| ชื่อนางแบบ | ขนาดรุ่น | ต้องการหน่วยความจำ (RAM หรือ VRAM) |
|---|---|---|
| distil-whisper/distil-v3 | 3.1 GB | 4 GB |
| distil-whisper/distil-v2 | 3.1 GB | 4 GB |
| distil-whisper/distil-medium.en | 1.6 GB | 2 GB |
| distil-whisper/distil-small.en | 680 MB | 900 MB |
| Openai/Whisper-Large-V3 | 6.2 GB | 7.5 GB |
| Openai/Whisper-Large-V2 | 6.2 GB | 7.5 GB |
| Openai/Whisper-Large-V1 | 6.2 GB | 7.5 GB |
| Openai/Whisper-Medium | 3.2 GB | 4.5 GB |
| Openai/Whisper-Small (ค่าเริ่มต้น) | 980 MB | 1.7 GB |
รองรับ LLMS
| ชื่อนางแบบ | ขนาดรุ่น | ต้องการหน่วยความจำ |
|---|---|---|
| QuantFactory/Phi-3-Mini-4K-Instruct-Gguf (ค่าเริ่มต้น) | 1 GB - 8 GB | 2 GB - 14 GB |
| QuantFactory/Phi-3-MINI-128K-Instruct-Gguf | 1 GB - 8 GB | 2.5 GB - 16 GB |
| Bartowski/Phi-3-Medium-128K-Instruct-Gguf | 3 GB - 14 GB | 6 GB - 18 GB |
คุณจะต้องแก้ไขไฟล์ global_varibables.py ด้วยชื่อรุ่นที่คุณเลือกจากนั้นเรียกใช้ไฟล์ setup.py ซึ่งจะลงโมเดลที่คุณเลือกโดยอัตโนมัติ
Line 32 : DEFAULT_SPEECH_MODEL = "openai/whisper-small"
...
Line 46 : DEFAULT_SUMMARY_MODEL = ( "QuantFactory/Phi-3-mini-4k-instruct-GGUF" , "Phi-3-mini-4k-instruct.Q5_0.gguf" )
### After update the above lines as per your need, run the setup.py
python setup . pyในหน้าต่างเทอร์มินัลใหม่ (ตรวจสอบให้แน่ใจว่าสภาพแวดล้อมเสมือนจริงของคุณเปิดใช้งานที่นี่เช่นกัน) เริ่มต้นแอพและผู้ปฏิบัติงานคื่นฉ่าย:
python app.py # ensure your environment is activated
# and then in new terminal, run the following.
celery -A app.celery worker --loglevel=info -f celery.logsอัปโหลดการบันทึกไปยังแบบฟอร์ม
เปิดเว็บเบราว์เซอร์ของคุณและนำทางไปยัง URL ของแอปพลิเคชัน Flask (โดยปกติจะ http://127.0.0.1:5000 ) ใช้อินเทอร์เฟซเพื่ออัปโหลดการบันทึกการประชุมของคุณ
รับสถานะล่าสุดและรอให้เสร็จสมบูรณ์
หลังจากอัปโหลดการบันทึกคุณสามารถตรวจสอบสถานะของการประมวลผล สิ่งนี้สามารถนำไปใช้เป็นหน้าสถานะหรือแถบความคืบหน้าในแอปพลิเคชันของคุณ รอจนกว่าการประมวลผลจะเสร็จสมบูรณ์
ดูรายงานการประชุมครั้งสุดท้ายของการประชุม (แม่)
เมื่อการประมวลผลเสร็จสมบูรณ์แอปพลิเคชันควรแสดงนาทีสุดท้ายของการประชุม คุณสามารถดูแก้ไข (หากมีคุณสมบัติ) และบันทึกแม่สำหรับการอ้างอิงของคุณ
แปลงไฟล์เสียงและวิดีโอให้เป็นข้อความการถอดเสียงข้อความที่แม่นยำ: สิ่งเหล่านี้สามารถใช้เพื่อสรุปสร้างรายการการกระทำทำความเข้าใจกระแสงานและการวางแผนทรัพยากร
การเน้นคำหลักและการติดแท็กหัวข้อเพื่อการอ้างอิงอย่างรวดเร็ว: การแยกหัวข้อและการค้นหาเนื้อหาที่เกี่ยวข้องเพื่อข้ามผ่านการประชุมและฟังหัวข้อเฉพาะที่เป็นที่สนใจของคุณ
นาทีการส่งออกในรูปแบบต่าง ๆ รวมถึง PDF และข้อความธรรมดา: ช่วยให้คุณสามารถส่งออกการประชุมการประชุมสรุปหัวข้อและคำหลักรายการการดำเนินการ ฯลฯ ลงในเอกสารที่สามารถนำไปใช้ในการวางแผนโครงการและกรอบการจัดการ นอกจากนี้ยังช่วยลดความต้องการของคุณในการเขียนและสร้างแม่แบบด้วยตนเอง
อินเทอร์เฟซที่ใช้งานง่ายสำหรับการปรับแต่งและการรวมง่าย: ง่ายต่อการปรับแต่งซึ่งเคยเป็นแบบโอเพนซอร์ซหรือแบบปิดที่คุณต้องการเลือก
ฟังก์ชั่นหลักหมุนรอบการบันทึกการประชุมที่ส่งผ่านหน้าแรกของเว็บแอปพลิเคชัน เมื่อมีการส่งการบันทึกงานพื้นหลังจะเริ่มต้นโดยใช้คื่นฉ่ายซึ่งดำเนินการสองการดำเนินการหลัก: การแปลงคำพูดเป็นข้อความและการสร้างนาทีของการประชุมจากข้อความที่แปลง
ผังงานที่คุณได้แชร์สรุปกระบวนการโดยละเอียดสำหรับการจัดการและประมวลผลไฟล์สื่อโดยเฉพาะอย่างยิ่งการมุ่งเน้นไปที่อินพุตเสียงและวิดีโอเพื่อสร้างการถอดความและบทสรุป มาแยกแต่ละขั้นตอนและอธิบายโซลูชันระดับสูงที่เกี่ยวข้องในเวิร์กโฟลว์นี้:
ก่อนดำเนินการตรวจสอบให้แน่ใจว่าคุณติดตั้งดังต่อไปนี้:
virtualenv หรือ venvrequirements.txt เข้ากันได้ ในระยะที่ 2 ของโครงการของเราเราวางแผนที่จะเปิดใช้งานการถอดความการประชุมแบบเรียลไทม์ เข้าร่วมกับเราในการกำหนดอนาคตของการประชุมที่มีประสิทธิภาพและร่วมมือกัน!
- ติดตามฉันสำหรับการอัปเดตเกี่ยวกับการพัฒนาระยะที่ 2 และการปรับปรุงอื่น ๆ เพื่อให้การประชุมของคุณมีประสิทธิผลมากขึ้น
? การสนับสนุนการมีส่วนร่วมจากชุมชนเพื่อให้เครื่องมือนี้เป็นตัวเปลี่ยนเกมสำหรับการประชุมทุกที่ มีส่วนร่วมในความคิดและความเชี่ยวชาญของคุณเพื่อช่วยให้เราบรรลุการถอดความแบบเรียลไทม์!
