ホーム>プログラミング関連>パイソン
  1. ?オンラインデモを更新:。これがバックアップです。
  2. ?オンラインデモを更新
  3. GFPGAN用のColabデモ。 (元の論文モデル用の別のcolabデモ)

私たちの仕事に興味を持ってくれてありがとう。また、Real-Esrganのアニメ画像やビデオ小さなモデルに関する新しい更新を確認することもできますか

GFPGANは、実際の顔の修復のための実用的なアルゴリズムを開発することを目指しています。
それは、盲目の顔の修復のために、前処理された顔Gan(例えば、stylegan2)にカプセル化された豊かで多様な事前に活用します。

courlyよくある質問はFAQ.MDにあります。

更新


GFPGANが写真/プロジェクトに役立つ場合は、このレポを手伝うか、友達にお勧めしてください。ありがとう?その他の推奨プロジェクト:
▶️ Real-Esrgan:一般的な画像修復のための実用的なアルゴリズム
▶️ BasicsR:オープンソースの画像とビデオ修復ツールボックス
▶️ faceXlib:有用な顔関連関数を提供するコレクション
▶️便利ビュー:ビューと比較に便利なPYQT5ベースの画像ビューアー


GFP-GAN:生成フェイシャル事前の現実世界の盲目の顔の回復に向けて

[紙] [プロジェクトページ] [デモ]
Xintao Wang、Yu Li、Honglun Zhang、Ying Shan
Applied Research Center(ARC)、Tencent PCG


?依存関係とインストール

インストール

現在、カスタマイズされたCUDA拡張機能を必要としないGFPGANのクリーンバージョンを提供しています。
私たちの論文で元のモデルを使用する場合は、インストールについてはpapermodel.mdを参照してください。

  1. クローンリポジトリ

    git clone https://github.com/TencentARC/GFPGAN.git
    cd GFPGAN
  2. 従属パッケージをインストールします

     # Install basicsr - https://github.com/xinntao/BasicSR
    # We use BasicSR for both training and inference
    pip install basicsr
    
    # Install facexlib - https://github.com/xinntao/facexlib
    # We use face detection and face restoration helper in the facexlib package
    pip install facexlib
    
    pip install -r requirements.txt
    python setup.py develop
    
    # If you want to enhance the background (non-face) regions with Real-ESRGAN,
    # you also need to install the realesrgan package
    pip install realesrgan

⚡クイック推論

例としてv1.3バージョンを採用します。より多くのモデルがここにあります。

事前に訓練されたモデルをダウンロード:gfpganv1.3.pth

wget https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.3.pth -P experiments/pretrained_models

推論!

python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2
 Usage: python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.3 -s 2 [options]...

  -h                   show this help
  -i input             Input image or folder. Default: inputs/whole_imgs
  -o output            Output folder. Default: results
  -v version           GFPGAN model version. Option: 1 | 1.2 | 1.3. Default: 1.3
  -s upscale           The final upsampling scale of the image. Default: 2
  -bg_upsampler        background upsampler. Default: realesrgan
  -bg_tile             Tile size for background sampler, 0 for no tile during testing. Default: 400
  -suffix              Suffix of the restored faces
  -only_center_face    Only restore the center face
  -aligned             Input are aligned faces
  -ext                 Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

私たちの論文で元のモデルを使用する場合は、インストールと推論についてはpapermodel.mdを参照してください。

?モデル動物園

バージョンモデル名説明
v1.3 gfpganv1.3.pth v1.2に基づいています。より自然な修復結果。非常に低品質 /高品質の入力のより良い結果。
v1.2 gfpgancleanv1-noce-c2.pth色なし; CUDA拡張機能は必要ありません。前処理を伴うより多くのデータでトレーニングされています。
V1 gfpganv1.pth紙モデル、着色。

比較は比較されています。md。

V1.3は常にV1.2よりも優れているとは限りません。目的と入力に基づいて異なるモデルを選択する必要がある場合があります。

バージョン強み弱点
v1.3 ✓自然な出力
✓非常に低品質の入力の結果
✓比較的高品質の入力で作業します
✓繰り返し(2回)修復することができます
✗あまりシャープではありません
cordentアイデンティティにわずかな変更があります
v1.2 ✓よりシャープな出力
✓ビューティーメイク付き
cuttural出力の中には不自然です

ここでは、より多くのモデル(判別器など)を見つけることができます:[Google Drive]、または[Tencent Cloud腾讯微云]

トレーニング

GFPGAN(私たちの論文で使用)のトレーニングコードを提供します。
あなた自身のニーズに応じてそれを改善することができます。

ヒント

  1. より高品質の顔は、回復品質を向上させることができます。
  2. 美容メイクなどの前処理を実行する必要があるかもしれません。

手順

(フェイスコンポーネントのランドマークを必要としない簡単なバージョン( options/train_gfpgan_v1_simple.yml )を試すことができます。)

  1. データセットの準備:FFHQ

  2. 事前に訓練されたモデルやその他のデータをダウンロードします。それらをexperiments/pretrained_modelsフォルダーに入れます。

    1. 事前訓練を受けたStyleGan2モデル:StyleGan2_512_CMUL1_FFHQ_B12G4_SCRATCH_800K.PTH
    2. FFHQのコンポーネントロケーション:FFHQ_EYE_MOUTH_LANDMARKS_512.pth
    3. シンプルなアークフェイスモデル:arcface_resnet18.pth
  3. それに応じて、構成ファイルoptions/train_gfpgan_v1.ymlを変更します。

  4. トレーニング

python -m torch.distributed.launch - nproc_per_node = 4 - master_port = 22021 gfpgan/train.py -opt options/train_gfpgan_v1.yml - launcher pytorch

ライセンスと謝辞

GFPGANは、Apacheライセンスバージョン2.0でリリースされます。

bibtex

 @InProceedings{wang2021gfpgan,
    author = {Xintao Wang and Yu Li and Honglun Zhang and Ying Shan},
    title = {Towards Real-World Blind Face Restoration with Generative Facial Prior},
    booktitle={The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
    year = {2021}
}

?接触

質問がある場合は、 [email protected]または[email protected]にメールしてください。

拡大する
追加情報