Whatsapp_speech_to_text

Discurso do WhatsApp para texto

Este é um aplicativo de fala para texto para o WhatsApp que usa o Whatsapp-web.js, executando no Docker

Descrição

Uma vez autenticado na Web Web, o trabalhador transcreverá todas as mensagens de voz a que você responde com o comando! Tran usando sussurro. Atualmente, ele só está configurado para transcrever mensagens de contatos salvos no seu livro de contato.

Originalmente, o programa usou o Google Cloud Speech, mas agora usa o Whisper, que é um mecanismo de reconhecimento de fala de código aberto e de código aberto.

Se você não deseja hospedar o modelo diretamente no seu computador, poderá usar a filial main_openai_api , que usa a API do OpenAI para transcrever o áudio.

Se você deseja contribuir, basta enviar uma solicitação de tração.

Uso

Basta responder à mensagem de voz que você deseja transcrever ! Tran

Executando o servidor

• Para construir as imagens, execute docker-compose build
• Para executar os contêineres Run docker-compose up (não se destaque, o QR será exibido no terminal)

Configuração

• Para escolher o modelo que você deseja usar Editar a variável chamada Model_version em Variáveis ​​X-Compartilhados dentro do arquivo docker-compose.yml. Modelo padrão: Tiny
• Para configurar o caminho e o endereço da API, edite as variáveis ​​de ambiente dentro do arquivo docker-compose.yml . Os valores padrão são:
  • Host_address = sussurro_api
  • Chrome_data_path = "/app/data/"
• Se você deseja usar o código fora do Docker, precisará editar as variáveis ​​ENV no arquivo index.js, para apontar para o seu endereço da API.
• Se você estiver usando um GPU Add and Edit, para suas necessidades, o seguinte código no contêiner Whisper_API

      deploy :
      resources :
          reservations :
          devices :
              - driver : nvidia
              count : 1
              capabilities : [gpu]

• Editando as variáveis responseMsgHeader e responseMsgHeaderError dentro do nó/index.js . Você pode configurar o cabeçalho da mensagem para obter a resposta automática.

PENDÊNCIA

• Apenas transcreva se o áudio for respondido com "! Tran"
• Envie "! Tran" do meu bate -papo e também transcreva o áudio. Por enquanto, apenas as mensagens enviadas por contatos serão transcritas.
• Salve os modelos localmente
• Talvez use https://github.com/ahmetoner/whisper-asr-webservice como a API
• Adicionar arquivo de ambiente.

Bugs

• Por enquanto, os arquivos mais antigos que a sessão não podem ser buscados. A solução pode ser recuperar o arquivo com alguma função e cache.
  • ATUALIZAÇÃO: Devido à incapacidade da biblioteca whatsapp-web.js de recuperar mensagens por id, esse bug não pode ser corrigido por enquanto. Talvez haja outra solução, mas não vejo.
    • Atualização 2: O bug foi corrigido usando a função fetchMessages() do WhatsApp-web.js, a função que lida com isso é chamada downloadQuotedMedia()