Described

説明された

人気のあるメディアプラットフォームでユーザーが送信した画像を自動的に説明するためのオープンソースシステム。現在、Discord、Slack、Messenger、Telegram、その他のプラットフォームのサポートをサポートしています。

概要

ユーザーが人気のあるメディアプラットフォームで送信した画像を自動的に説明してください。視覚障害者にとって非常に便利な説明は、画像を自動的に摂取し、GPT-4-visionを使用して画像を解釈し、ユーザーに画像自体を視覚的に見ることに依存することなく画像の全体的な理解を与えることを目的とする人間の読み取り可能なテキスト表現に変換します。

ボットセットアップサポートとデモサーバー：こちらに参加してください

デモ

設定

Python 3.9以降がサポートされています

ボットで起きて実行するには、要件をインストールし、環境変数を設定し、ボットを起動する必要があります。要件をインストールするには：

python3.9 -m pip install -r requirements.txt

次に、 sample.envに.envに名前を変更し、対応するAPIキーで記入します。

 DISCORD_TOKEN = " MTE..... "
OPENAI_API_KEY = " sk-....... "
DESCRIBED_CHANNELS = " mute-this-testing,blank-test "
ALLOWED_GUILDS = " 1061370086331523176 "
ADMIN_ROLES = " Admin "

許可されたギルドは、ギルドIDのコンマ分離値です。不一致ウィンドウの左上にあるサーバーを右クリックして、「コピーID」をクリックすることにより、ギルドIDを取得できます。チャネル名とadmin_rolesもケースに敏感で、コンマは分離されています。

ここでOpenai APIキーを取得し、ここでDiscord Botを作成する方法を学ぶことができます

使用法

リポジトリのルートディレクトリからボットを起動するには、実行します。

python -m discord_service.bot

他のプラットフォームがサポートされると、他のプラットフォーム用のボットを実行するコマンドが増えます。さらに、すべてを実行するオールインワンコマンドが作成されます。

Discord Server内では、環境ファイルのADMIN_ROLESで役割が定義されているユーザーのみが、画像の説明をオンとオフにすることができます。デフォルトでは、サーバーの場合、画像の説明がオフになっています。あなたはそれらをオンにすることができます：

/describe status:on

あなたはそれらをオフにすることができます

/describe status:off