image to text to speech

이미지에서 텍스트 및 오디오 생성

Hugging Face AI 모델을 사용하여 이미지에서 텍스트를 생성 한 다음 텍스트에서 오디오를 생성하는 앱입니다.

이 응용 프로그램은 세 단계를 사용하여 위에서 언급 한 작업을 완료합니다.

• 텍스트 대 텍스트 모델은 사진의 내용을 바탕으로 기계가 시나리오를 이해하도록합니다.
• LLM을 사용하여 1 단계에서 생성 된 텍스트를 기반으로 짧은 이야기를 생성하십시오.
• 마지막으로, 우리는 텍스트 to speech 모델을 사용하여 LLM의 스토리에 대한 오디오를 생성합니다.

시스템 설계

모델

• 이미지 대 텍스트 모델 : NLPConnect/vit-GPT2- 이미지 캡션
• 텍스트 to Story 모델 : GPT-3.5-Turbo
• 이야기 대 연설 모델 : 껍질

요구 사항

python -m pip install -r requirements.txt

로컬로 앱을 실행하십시오

 source build.sh

간소 클라우드로 앱을 실행하십시오

앱을 시작합니다

특허

MIT 라이센스에 따라 배포됩니다. 자세한 내용은 LICENSE 참조하십시오.