あなたは私のオープンソースの仕事をサポートするために私を後援することができますか?スポンサー
このプロジェクトの主な目的は、素晴らしいラインアートのポートレートを作成することです。
このモデルは、ポートレートイメージと対応する書面による指示を取り入れ、その命令を使用して画像のスタイルを調整するように設計されています。
ボヘミアン・ラプソディ映画、ラミ・マレク・アメリカン俳優
PexelsからのMaximによる写真
キアヌ・リーブス、カナダの俳優。
PexelsのAnastasiya Geppによる写真
星間
ペクセルのポートレート、モデル
ビヨンセ、アメリカンシンガー
モデル - (スムーズ)
モデル - (品質)
以下の画像をクリックして、Colabデモの詳細、Bhavesh Bhattのクレジットについては、驚くべきYouTubeビデオをご覧ください。
モデルが生成した驚くべき結果には、秘密のソースがあります。最初のモデルは、私が期待していた種類の出力を作成することができませんでした。それは主に顔の特徴を認識することに苦労していました。 (https://github.com/yiranran/apdrawinggan)は素晴らしい結果をもたらしましたが(ID写真に似た正面の顔の写真、できれば透明な顔の特徴、眼鏡、長いフリンジがありません)。任意のポーズを認識できる結果を生成します。顔、目、唇、鼻の周りに適切な線を達成することは、モデルに与えるデータに依存します。 APDRAWINGデータセットだけでは十分ではなかったので、アニメスケッチ色付けペアデータセットから選択した写真を組み合わせる必要がありました。結合されたデータセットは、モデルがラインをより良く学習するのに役立ちました。
映画のポスターは、すぐにArtlineを使用して作成されましたが、それほど良くはありませんが、私はアーティストではありません。
自己attention (https://arxiv.org/abs/1805.08318)。ジェネレーターは、スペクトル正規化と自己告発を伴う前提条件のUNETです。 Jason AnticのDeoldify(https://github.com/jantic/deoldify)から得たもの、これは大きな違いを生み出しました。
プログレッシブサイズ変更(https://arxiv.org/abs/1710.10196)(https://arxiv.org/pdf/1707.02921.pdf)。プログレッシブサイズは、画像サイズを徐々に増やすというこのアイデアを取ります。このプロジェクトでは、画像サイズが徐々に増加し、学習率が調整されました。 Fast.aiが進歩的なサイズを紹介してくれたことに感謝します。これは、モデルがより多くの異なる画像を見ているので、モデルがより良く一般化するのに役立ちます。
ジェネレーターの損失:VGG16に基づく知覚損失/機能損失。 (https://arxiv.org/pdf/1603.08155.pdf)。
驚き!!批評家もガンもいません。ガンはあまり違いをもたらさなかったので、私はガンがいないことに満足していました。
使命は、個人的な写真をラインアートに変換するものを作成することでした。最初の努力はラインを認識するのに役立ちましたが、それでもモデルは影と服で多くを改善する必要があります。私の努力はすべて、モデルを改善し、ラインアートをクリックすることです。
APDRAWINGデータセット
アニメスケッチカラー化ペアデータセット
データセットは、主にクローズアップのポートレートの構成であるため、モデルは布、手などを認めるのに苦労します。
私は明確だったことを願っています。今後は、モデルがランダムな背景と格闘しているため、さらに改善したいと思います(この問題に対処するためのカスタムデータセットを作成しています)。
予見可能な将来のプロジェクトを常にアップグレードします。
始める最も簡単な方法は、colab:https://colab.research.google.com/github/vijishmadhavan/light-up/blob/master/artline(try_it_on_colab).ipynb
このプロジェクトは、Wonderful fast.aiライブラリを中心に構築されています。
優れた出力を得ることは、照明、背景、影、写真の品質に依存します。あなたは主に最初の段階で良い結果を得ることができますが、問題の可能性もあります。モデルはまだ存在していませんが、すべての消費者に手を差し伸べるために調整する必要があります。 「AI Artisits/ Artists/ Artistsが最終的な出力に変化をもたらすことができるのに役立つかもしれません。
このモデルは、私が解決しようとしている何か、髪と影を混同しています。
低品質の画像(500px未満)では悪いことです。
私はコーダーではありません。悪いコードとドキュメントのために私と一緒にいてください。今後の更新で改善することを確認します。
Twitterでさらに更新を入手してください
@ [email protected]にメールしてください
このコードは、Fast.aiのレッスン7とDeoldify(https://github.com/jantic/deoldify)からインスピレーションを受けています。レッスンノートブック(https://github.com/fastai/course-v3/blob/をご覧ください。 Master/nbs/dl1/lesson7-superres-gan.ipynb)
驚くべきデータセットについては、(https://github.com/yiranran/apdrawinggan)に感謝します。
このリポジトリのすべてのコードは、ライセンスファイルで指定されているMITライセンスの下にあります。