Described

Descrito

Un sistema de código abierto para describir automáticamente las imágenes enviadas por los usuarios en plataformas de medios populares. Actualmente es compatible con Discord, soporte para Slack, Messenger, Telegram, ¡otras plataformas que llegarán pronto!

Descripción general

Describa automáticamente imágenes enviadas por usuarios en plataformas de medios populares. Increíblemente útil para los discapacitados visuales, Descriper ingerirá automáticamente imágenes y el uso de GPT-4-Vision interpretará las imágenes y las convertirá en una representación textual legible por el humano que tiene como objetivo dar a los usuarios una comprensión holística de la imagen sin necesidad de depender de ver la imagen en sí misma.

Soporte de configuración de bot y servidor de demostración: únete aquí

Manifestación

Configuración

Python 3.9 y superior son compatibles

Para poner en funcionamiento con el bot, debe instalar los requisitos, configurar sus variables de entorno e iniciar el bot. Para instalar los requisitos:

python3.9 -m pip install -r requirements.txt

Luego, cambie el nombre sample.env a .env y llénelo con sus claves API correspondientes:

 DISCORD_TOKEN = " MTE..... "
OPENAI_API_KEY = " sk-....... "
DESCRIBED_CHANNELS = " mute-this-testing,blank-test "
ALLOWED_GUILDS = " 1061370086331523176 "
ADMIN_ROLES = " Admin "

Los gremios permitidos son valores separados por comas de IDS del gremio. Puede recuperar ID de gremio haciendo clic derecho en un servidor en la parte superior izquierda de su ventana de Discord y luego haciendo clic en "ID de copia". Los nombres de los canales y el administrador también son sensibles a los casos y se separan por comas.

Puede obtener una llave API de OpenAI aquí y aprender a crear un bot de discordia aquí

Uso

Para iniciar el bot desde el directorio raíz del repositorio, ejecute:

python -m discord_service.bot

Una vez que se admitan otras plataformas, habrá más comandos para ejecutar los bots para las otras plataformas. Además, se creará un comando todo en uno que ejecuta todo.

Dentro de un servidor Discord, solo los usuarios que tienen roles definidos en ADMIN_ROLES en su archivo de entorno pueden activar y desactivar las descripciones de imágenes. De forma predeterminada para un servidor, las descripciones de imágenes están desactivadas. Puedes encenderlos con:

/describe status:on

Puedes apagarlos con

/describe status:off