image to text to speech

Menghasilkan Teks & Audio dari Gambar

Aplikasi yang menggunakan model AI memeluk untuk menghasilkan teks dari gambar, yang kemudian menghasilkan audio dari teks.

Aplikasi ini menggunakan tiga langkah untuk menyelesaikan tugas yang disebutkan di atas:

• Gambar ke model teks agar mesin memahami skenario berdasarkan konten foto
• Gunakan LLM untuk menghasilkan cerita pendek berdasarkan teks yang dihasilkan pada Langkah 1
• Terakhir, kami akan menggunakan model teks ke ucapan untuk menghasilkan audio untuk cerita dari LLM

Desain Sistem

Model

• Model Gambar ke Teks: NLPConnect/Vit-GPT2-Image-Captioning
• Model Teks ke Story: GPT-3.5-Turbo
• Story to Speech Model: Bark

Persyaratan

python -m pip install -r requirements.txt

Jalankan App secara lokal

 source build.sh

Jalankan Aplikasi dengan StreamLit Cloud

Luncurkan aplikasi

Lisensi

Didistribusikan di bawah lisensi MIT. Lihat LICENSE untuk informasi lebih lanjut.