image to text to speech

การสร้างข้อความและเสียงจากภาพ

แอพที่ใช้โมเดล Hugging Face AI เพื่อสร้างข้อความจากภาพซึ่งจะสร้างเสียงจากข้อความ

แอปพลิเคชันนี้ใช้สามขั้นตอนในการทำงานที่กล่าวถึงข้างต้น:

• รูปแบบการส่งข้อความเพื่อให้เครื่องเข้าใจสถานการณ์ตามเนื้อหาของภาพถ่าย
• ใช้ LLM เพื่อสร้างเรื่องสั้นตามข้อความที่สร้างขึ้นในขั้นตอนที่ 1
• สุดท้ายเราจะใช้แบบจำลองข้อความเป็นคำพูดเพื่อสร้างเสียงสำหรับเรื่องราวจาก LLM

การออกแบบระบบ

แบบจำลอง

• รูปถ่ายไปยังโมเดลข้อความ: NLPConnect/vit-gpt2-image-captioning
• Text to Story Model: GPT-3.5-turbo
• Motel to Speech Model: Bark

ความต้องการ

python -m pip install -r requirements.txt

เรียกใช้แอพในพื้นที่

 source build.sh

เรียกใช้แอพด้วย Streamlit Cloud

เปิดแอพ

ใบอนุญาต

แจกจ่ายภายใต้ใบอนุญาต MIT ดู LICENSE สำหรับข้อมูลเพิ่มเติม