SKFont
1.0.0
Dies ist die Tensorflow-Implementierung des SKFONT: skelettgetriebene koreanische Schriftsynthese mit bedingten tiefen kontroversen Netzwerken .
Papier
In unserer Forschung untersuchen wir das Problem der Schriftsynthese unter Verwendung eines End-to-End-Konditionalgängernetzes mit einer kleinen Stichprobe koreanischer Charaktere (Hangul). Hangul besteht aus 11.172 Zeichen und wird durch das Schreiben in mehreren Platzierungsmustern komponiert. Traditionell erforderte das Schriftart von Schriftarten schwere menschliche Arbeitskräfte und dauert leicht ein Jahr, um einen Stil zu beenden. Selbst mit Hilfe programmierbarer Ansätze dauert es immer noch lange und kann den Grenzen hinsichtlich der Freiheit zur Änderung der Parameter nicht entkommen. Viele Versuche wurden in tiefen Gebieten mit neuronalem Netzwerk versucht, Charaktere ohne menschliche Intervention zu generieren. Unsere Forschung konzentriert sich auf ein End-to-End-Deep-Learning-Modell, den skelettgetriebenen Schriftgenerator (SKFONT): Wenn 114 Beispiele gegeben sind, generiert das System automatisch den Rest der Zeichen im selben Schriftstil. SKFONT umfasst drei Schritte: Erstens generiert es vollständige Zielschriftenzeichen, indem 114 Zielzeichen beobachtet werden. Dann extrahiert es die Skelette (Strukturen) der aus dem ersten Schritt erhaltenen synthetisierten Zeichen. Dieser Prozess treibt das System an, um die Hauptstruktur der Charaktere während der gesamten Prozesse der gesamten Generation aufrechtzuerhalten. Schließlich überträgt es den Stil der Zielschrift an diese gelehrten Strukturen. Unsere Studie löst lang überfällige Defiziten wie Unschärfe, Brechen und mangelnde Bereitstellung von zarten Formen und Stilen durch die Verwendung des bedingten, tiefen kontroversen Netzwerks von Skelett. Qualitative und quantitative Vergleiche mit den hochmodernen Methoden zeigen die Überlegenheit der vorgeschlagenen SKFont-Methode.
conda create --name tutorial-TF python=3.6.8
conda activate tutorial-TF or activate tutorial-TF
conda install -c anaconda tensorflow-gpu=1.13.1
conda env update --file tools.yml
Unser Modell besteht aus drei Submodellen, nämlich F2F-F2S-S2F. Für jedes Modell müssen wir einen gepaarten Datensatz vorbereiten. dh eine Quelle zum Ziel -Schriftart -Dataset, eine Zielschrift zum Korreskelettdatensatz und ein Zielskelett für den entsprechenden Schriftartatensatz. Um dies zu tun, platzieren Sie eine koreanische Schriftart im Verzeichnis src_font und n Anzahl der Zielschriften im Verzeichnis TRG_FONT. Führen Sie dann die folgenden Befehle für die Datenvorverarbeitung aus.
Erzeugen Sie Quellschriftbilder
python ./tools/src-font-image-generator.py
Generieren Sie Zielschriftenbilder
python ./tools/trg-font-image-generator.py
Generieren Sie Zielschriften -Skelettbilder
python ./tools/trg-skeleton-image-generator.py
Kombinieren Sie Quelle, Ziel- und Zielskelette
python ./tools/combine_images.py --input_dir src-image-data/images --b_dir trg-image-data/images --c_dir skel-image-data/images --operation combine
Umwandeln Sie Bilder in TFRECORDS
python ./tools/images-to-tfrecords.py
python main.py --mode train --output_dir trained_model --max_epochs 25
Um einen unsichtbaren Schriftartenstil zu erlernen, können Sie mit dem folgenden Befehl ein bereits ausgebildetes Modell einstellen. Wenn Sie die bereits erlernten Schriftstile generieren möchten, überspringen Sie einfach den folgenden Befehl.
python main.py --mode train --output_dir finetuned_model --max_epochs 500 --checkpoint trained_model/
Generieren Sie Bilder genau wie zuvor, aber diesmal verwenden Sie ein anderes Modul zum Erstellen von Test -TFRecords mit dem folgenden Befehl.
python ./tools/test-images-to-tfrecords.py
python main.py --mode test --output_dir testing_results --checkpoint finetuned_model
Dieser Code ist vom PIX2Pix TensorFlow -Projekt inspiriert.
Besonderer Dank geht an die folgenden Funktionen für die Freigabe ihres Code und des Datensatzes.
Bitte zitieren Sie unsere Arbeit, wenn es Ihnen gefällt.
Ko, DH, Hassan, Au, Suk, J. et al. SKFONT: Skelettgetriebene koreanische Schriftgenerator mit bedingten tiefen kontroversen Netzwerken. Ijdar (2021). https://doi.org/10.1007/s10032-021-00374-4
Der Code und andere helfende Module sind nur für den persönlichen und akademischen Gebrauch zulässig.
