Described

Descrito

Um sistema de código aberto para descrever automaticamente as imagens enviadas pelos usuários em plataformas de mídia populares. Atualmente, suporta discórdia, suporte para Slack, Messenger, Telegram, outras plataformas em breve!

Visão geral

Descreva automaticamente as imagens enviadas pelos usuários em plataformas de mídia populares. Incrivelmente útil para o deficientes visualmente, o descrição ingerirá automaticamente imagens e usando a visão GPT-4, interpretará as imagens e a converterá em uma representação textual legível por humanos que visa dar aos usuários um entendimento holístico da imagem sem precisar depender visualmente a própria imagem.

Suporte à configuração de bot e servidor de demonstração: junte -se aqui

Demonstração

Configurar

Python 3.9 e acima são suportados

Para subir e funcionar com o bot, você precisa instalar os requisitos, configurar suas variáveis ​​de ambiente e iniciar o bot. Para instalar os requisitos:

python3.9 -m pip install -r requirements.txt

Em seguida, renomeie sample.env para .env e preencha -o com suas teclas de API correspondentes:

 DISCORD_TOKEN = " MTE..... "
OPENAI_API_KEY = " sk-....... "
DESCRIBED_CHANNELS = " mute-this-testing,blank-test "
ALLOWED_GUILDS = " 1061370086331523176 "
ADMIN_ROLES = " Admin "

Guildas permitidas são valores separados por vírgula dos IDs da guilda. Você pode recuperar os IDs da guilda clicando com o botão direito do lado de um servidor no canto superior esquerdo da janela Discord e clicando em "copiar ID". Os nomes de canais e admin_roles também são sensíveis ao minúsculas e separados por vírgula.

Você pode obter uma chave de API do OpenAI aqui e aprender a criar um bot da Discord aqui

Uso

Para iniciar o bot no diretório raiz do repo, execute:

python -m discord_service.bot

Depois que outras plataformas forem suportadas, haverá mais comandos para executar os bots para as outras plataformas. Além disso, será criado um comando all-in-one que executa tudo.

Dentro de um servidor Discord, apenas os usuários que possuem funções definidas em ADMIN_ROLES em seu arquivo de ambiente podem ativar e descobrir as descrições da imagem. Por padrão para um servidor, as descrições de imagem estão desativadas. Você pode ativá -los com:

/describe status:on

Você pode desligá -los com

/describe status:off