axodox machinelearning

導入

このリポジトリには、元のTXT2IMG、IMG2IMG、インピンティング機能、安全チェッカーなど、安定した拡散ベースの画像合成の完全なC ++実装が含まれています。このソリューションはPythonに依存せず、競争力のあるパフォーマンスを備えた単一のプロセスで画像生成プロセス全体を実行し、展開を大幅にシンプルで小さくし、本質的にいくつかの実行可能ファイルとライブラリファイル、およびモデルの重みで構成されます。ライブラリを使用すると、安定した拡散をほぼすべてのアプリケーションに統合することができます - C ++またはC機能をインポートできる限り、それはリアルタイムグラフィックスアプリケーションとゲームの開発者にとって最も役立ちます。

ControlNetサポート

ライブラリはコントロールネットもサポートしています。これにより、入力画像を使用して画像生成プロセスをガイドできます。たとえば、：

この最初の例では、OpenPose推定器とOpenPose条件付きコントロールネットを使用して、ポーズを指定することでIMG2IMG生成をガイドできます。これにより、より良い結果が得られます。

Hed Edge DetectionとEdge Conditured ControlNetを使用して、画像のスタイルを変更して漫画本のイラストに似ていますが、レイアウトをそのままにしておきます。

深度推定器と深度マップ条件付きコントロールネットを使用して、別の文字を生成しますが、元のセットアップを保持します。

特徴抽出器

ライブラリはまた、次の特徴抽出器のGPU加速実装を提供します（上記で紹介）。

• ポーズ推定：OpenPoseを使用して画像から人間の骨格を抽出します
• 深さの推定：MIDASを使用して単一の画像からの各ピクセルの深さを推定します
• エッジ検出：全体的にネストされたエッジ検出を使用して、画像からエッジを抽出します

コードの例

ここにいくつかの簡単なコードの例があります：

• stablediffusion
• ControlNet
• 特徴抽出

参照モデル

ライブラリに必要なAIモデルは、ONNX形式に保存されます。すべてのモデルはMicrosoft Oliveを介して実行されており、DirectML用に最適化されています。次のモデルでライブラリをテストしました。

• コントロールネットサポートを備えた安定した拡散1.5
• コントロールネットサポートを備えた現実的なビジョン1.4
• 特徴抽出器を備えたControlNet

このガイドを使用して変換することにより、独自のモデルを持参できます。

モデルを製品に統合する予定の場合は、モデルの元のライセンスを確認してください。

技術的背景

実装では、ONNXを使用して、画像生成に関与する数学モデルを保存します。これらのONNXモデルは、さまざまなプラットフォーム（Windows、Linux、Android、iOS、WebAssemblyなど）をサポートするONNXランタイムを使用して実行されます。

単純なWinUIベースのユーザーインターフェイスにライブラリを統合する方法を示すunpaintと呼ばれる統合の例を提供します。 Microsoftストアから無料のアプリをダウンロードして、ソリューションのパフォーマンス特性を評価できます。

現在のコードベースと結果のNUGETパッケージはウィンドウをターゲットにし、DirectMLを使用しますが、コードの小さなセクションのみがWindows固有のAPIを使用するため、最小限の労力で他のプラットフォームに移植できます。

ライセンス

このライブラリのソースコードは、MITライセンスの下で提供されます。

コンポーネントの統合

プロジェクトの事前に構築されたバージョンは、 Axodox.MachineLearningという名前でNugetから取得し、X64プラットフォームでVisual Studio C ++プロジェクト（デスクトッププロジェクトとUWPプロジェクトの両方がサポートされています）に追加できます。

基本統合：

• Axodox.CommonとAxodox.MachineLearningパッケージをプロジェクトに追加します
• このlibは今のところx64であるため、プロジェクトにはx64プラットフォームのみを持っているようにしてください
• コンパイラがC ++ 20に設定されていることを確認してください。すべての警告と適合モードを有効にすることもお勧めします
• 次のものを追加するコードファイルまたは事前コンパイルされたヘッダーにステートメントを含めます： #include "Include/Axodox.MachineLearning.h"
• この例コードに従って、パイプラインを統合します：https：//github.com/axodox/unpaint/blob/main/unpaint/stablediffusionmodelexecutor.cpp

適切な安全メカニズムをアプリに追加して、不適切な安定性拡散の出力を抑制することをお勧めします。パフォーマンスオーバーヘッドは重要ではありません。

使用する安定した拡散モデルは、Microsoft Oliveを使用して生成されています。リンクされた例に従って、Huggingfaceからモデルを変換してください。スクリプトを変更することにより、ディスクに保存されているモデルをさまざまな形式（ *.safetensors ）から変換することもできます。ここには、テスト用の事前逆のモデルを見つけることができます。

プロジェクトの構築

ライブラリを構築するには、変更を加えてテストする必要があります。ライブラリを構築するには、以下をインストールする必要があります。

• ビジュアルスタジオ2022
  • 次のワークロードを選択します。
    • C ++を使用したデスクトップ開発
    • C ++を使用したゲーム開発
  • また、非avenを構築するには、これらの個々のパッケージを選択します。
    • ユニバーサルウィンドウプラットフォーム開発
    • C ++（V143）ユニバーサルウィンドウプラットフォームツール

build_nuget.ps1を実行するか、 Axodox.MachineLearning.slnを開き、Visual StudioからBuildを実行できます。

ライブラリを構築したら、 AxodoxMachineLearning-Location環境変数を設定してローカルビルドを指すことにより、既存のNugetパッケージインストールをオーバーライドします。

たとえばC:devaxodox-machinelearningAxodox.MachineLearning.Universal for C:devaxodox-machinelearningAxodox.MachineLearning.Desktop for desktopアプリ。

次に、あなた自身のプロジェクトの解決策への道を指したプロジェクトを追加します。これにより、すべてのプロジェクトを同じソリューションに追加し、ファイルを繰り返しコピーせずにライブラリとアプリでシームレスに変更を加えることができます。