CodeFormerダウンロード - CodeFormerマーソースコードのダウンロード

CodeFormer

パイソン

Code

ダウンロード

コードブックルックアップトランスによる堅牢なブラインドフェイスの修復に向けて（Neurips2022）

論文|プロジェクトページ|ビデオ

Shangchen Zhou、Kelvin CK Chan、Chongyi Li、Chen Change Loy

S-Lab、Nanyang Technological University

Codeformerが画像やプロジェクトに役立つ場合は、このレポを主演させてください。ありがとう！？

アップデート

2023.07.20 ：統合？ openxlab。オンラインデモを試してみてください！
2023.04.19 ：？トレーニングコードと構成ファイルは現在公開されています。
2023.04.09 ：トリミングされた顔画像と整列した顔の画像のために、開始と着色の特徴を追加します。
2023.02.10 ： dlib新しいフェイス検出器オプションとして含めると、より正確なフェイスアイデンティティが生成されます。
2022.10.05 ：ビデオ入力をサポート--input_path [YOUR_VIDEO.mp4] 。あなたのビデオを強化するためにそれを試してください！？
2022.09.14 ：統合されていますか？顔を抱き締める。オンラインデモを試してみてください！
2022.09.09 ：複製するために統合されています。オンラインデモを試してみてください！
もっと

トト

トレーニングコードと構成ファイルを追加します
顔を開始するためにチェックポイントとスクリプトを追加します
顔の色のためにチェックポイントとスクリプトを追加します
~~背景画像の強化を追加します~~

？古い写真を強化したり、AI-ARTを修正したりしてみてください

顔の修復

顔の色の強化と回復

顔を開始します

依存関係とインストール

pytorch> = 1.7.1
cuda> = 10.1
requirements.txtのその他の必要なパッケージ。txt

 # git clone this repository
git clone https://github.com/sczhou/CodeFormer
cd CodeFormer

# create new anaconda env
conda create -n codeformer python=3.8 -y
conda activate codeformer

# install python dependencies
pip3 install -r requirements.txt
python basicsr/setup.py develop
conda install -c conda-forge dlib (only for face detection or cropping with dlib)

クイック推論

事前に訓練されたモデルのダウンロード：

[リリース| Googleドライブ| OneDrive] weights/facelibフォルダーへ。次のコマンドを実行することで、事前に保護されたモデルを手動でダウンロードしたり、ダウンロードしたりできます。

 python scripts/download_pretrained_models.py facelib
python scripts/download_pretrained_models.py dlib (only for dlib face detector)

[リリース|からCodeformerの事前処理されたモデルをダウンロードしますGoogleドライブ| OneDrive] weights/CodeFormerフォルダーへ。次のコマンドを実行することで、事前に保護されたモデルを手動でダウンロードしたり、ダウンロードしたりできます。

 python scripts/download_pretrained_models.py CodeFormer

テストデータの準備：

テスト画像をinputs/TestWholeフォルダーに配置できます。トリミングされた顔とアライメントされた顔をテストしたい場合は、 inputs/cropped_facesフォルダーにそれらを配置できます。次のコマンドを実行することにより、トリミングされた顔と整列した顔を取得できます。

 # you may need to install dlib via: conda install -c conda-forge dlib
python scripts/crop_align_face.py -i [input folder] -o [output folder]

テスト：

[注]ペーパーでコードフォーマーを比較したい場合は、次のコマンドを実行してください--has_aligned （クロップドおよびアライメントされた顔）、画像全体のコマンドには、境界の髪のテクスチャに損傷を与える可能性のあるフェイスバックグラウンド融合のプロセスが含まれます。

忠実度の重量は[0、1]にあります。一般的に、より小さいWは高品質の結果を生成する傾向がありますが、 Wが大きくなると忠実度が高くなります。結果はresultsフォルダーに保存されます。

??顔の修復（トリミングされた顔とアライメントされた顔）

 # For cropped and aligned faces (512x512)
python inference_codeformer.py -w 0.5 --has_aligned --input_path [image folder]|[image path]

？§全体の画像強化

 # For whole image
# Add '--bg_upsampler realesrgan' to enhance the background regions with Real-ESRGAN
# Add '--face_upsample' to further upsample restorated face with Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [image folder]|[image path]

？ビデオ強化

 # For Windows/Mac users, please install ffmpeg first
conda install -c conda-forge ffmpeg

 # For video clips
# Video path should end with '.mp4'|'.mov'|'.avi'
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path [video path]

？顔の着色（クロップドとアライメントされた顔）

 # For cropped and aligned faces (512x512)
# Colorize black and white or faded photo
python inference_colorization.py --input_path [image folder]|[image path]

？顔の開始（トリミングされた顔と整列した顔）

 # For cropped and aligned faces (512x512)
# Inputs could be masked by white brush using an image editing app (e.g., Photoshop) 
# (check out the examples in inputs/masked_faces)
python inference_inpainting.py --input_path [image folder]|[image path]

トレーニング：

トレーニングコマンドは、文書にあります：英語|简体中文。

引用

私たちの仕事があなたの研究に役立つ場合は、引用を検討してください。

 @inproceedings{zhou2022codeformer,
    author = {Zhou, Shangchen and Chan, Kelvin C.K. and Li, Chongyi and Loy, Chen Change},
    title = {Towards Robust Blind Face Restoration with Codebook Lookup TransFormer},
    booktitle = {NeurIPS},
    year = {2022}
}