comic translate

Comic übersetzen

Englisch | 한국어 | Français | 简体中文 | 日本語 | Português Brasileiro

Intro

Es gibt viele automatische Manga -Übersetzer. Sehr wenige unterstützen Comics anderer Arten in anderen Sprachen. Dieses Projekt wurde erstellt, um die Fähigkeit des hochmodernen Kunst (SOTA) Großsprachenmodelle (LLMs) wie GPT-4 zu nutzen und Comics aus der ganzen Welt zu übersetzen. Derzeit unterstützt es die Übersetzung von und von Englisch, Koreanisch, Japanisch, Französisch, vereinfachtem Chinesisch, traditionellem Chinesisch, Russisch, Deutsch, Niederländisch, Spanisch und Italienisch. Es kann zu (aber nicht aus) türkisch, polnisch, portugiesisch und brasilianisch -portugiesisch führen.

• Der Zustand der maschinellen Übersetzung

• Vorschau

• Erste Schritte

  • Installation
    • Python
  • Verwendung
    • Tipps
  • API -Schlüssel
    • API -Schlüssel bekommen
      • Offene AI
      • Google Cloud Vision

• Wie es funktioniert

  • Texterkennung
  • OCR
  • Inpainting
  • Übersetzung
  • Textrendern

• Anerkennung

Der Zustand der maschinellen Übersetzung

Für ein paar Dutzend Sprachen ist der beste maschinelle Übersetzer nicht Google Translate, Papago oder sogar tief, sondern ein Sota LLM wie GPT-4O und bei weitem. Dies ist sehr offensichtlich für entfernte Sprachpaare (koreanischer <--> Englisch, japanisches <--> Englisch usw.), bei denen sich andere Übersetzer immer noch oft in Kauderwelsch verwandeln. Auszug aus "The Walking Practice" (보행 연습 연습 연습) von Dolki min (돌기민)

Comic -Proben

GPT-4 als Übersetzer. Hinweis: Einige davon haben auch offizielle englische Übersetzungen

Das Elend der hohen See

Reise nach Westen

Die WORMWORLD -SAGA

Frier: Beyond Journey's Ende

Sandtage

Spieler (Oh Hyeon-Jun)

Kohlenstoff & Silizium

Installation

Python

Installieren Sie Python (> = 3.10). Ticken Sie während des Setups "Python.exe zum Pfad hinzufügen".

https://www.python.org/downloads/

Klonen Sie das Repo (oder laden Sie den Ordner herunter), navigieren Sie zum Ordner

git clone https://github.com/ogkalu2/comic-translate
cd comic-translate

und installieren Sie die Anforderungen

pip install -r requirements.txt

Wenn Sie auf Probleme stoßen, können Sie versuchen, es in einer virtuellen Umgebung auszuführen. Öffnen Sie das Terminal/CMD in welchem Verzeichnis, das die virtuelle Umgebung installiert hat (oder CD 'Pfad/zu/virtueller Umgebung/Ordner'). Erstellen Sie Ihre virtuelle Umgebung mit:

python -m venv comic-translate-venv

Aktivieren Sie nun die virtuelle Umgebung. Unter Windows:

comic-translate-venv S cripts a ctivate

Auf Mac und Linux:

 source comic-translate-venv/bin/activate

Jetzt können Sie die Installationsbefehle erneut ausführen. Wenn Sie mit der App fertig sind, können Sie die VirtuL -Umgebung mit:

deactivate

Verwenden Sie zur Wiedereinaktivierung dieselben Befehle mit dem Terminal im Ordner, in dem sich Ihr virtueller Umgebungsordner befindet.

Wenn Sie eine Nvidia -GPU haben, wird empfohlen, zu laufen

pip uninstall torch torchvision
pip install torch==2.1.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html
pip install torchvision==0.16.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html

Hinweis: Der 121 in +Cu121 repräsentiert die CUDA -Version - 12.1. Ersetzen Sie 121 durch Ihre CUDA -Version. ZB 118 Wenn Sie CUDA 11.8 ausführen

Verwendung

Im Comic-Translate-Verzeichnis führen

python comic.py

Dies wird die GUI starten

Tipps

• Wenn Sie eine CBR-Datei haben, müssen Sie Winrar oder 7-Zip installieren und dann den Ordner hinzufügen, zu dem er (z. B. "C: Programme Winrar" für Windows) in den Pfad installiert ist. Wenn es installiert ist, aber nicht zum Pfad, können Sie den Fehler erhalten.

raise RarCannotExec( " Cannot find working tool " )

In diesem Fall Anweisungen für Windows, Linux, Mac

• Stellen Sie sicher, dass die ausgewählte Schriftarten die Zeichen der Zielsprache unterstützt
• v2.0 führt einen manuellen Modus ein. Wenn Sie Probleme mit dem automatischen Modus begegnen (ohne Text, falscher OCR, unzureichende Reinigung usw.), können Sie jetzt Korrekturen vornehmen. Lösen Sie einfach den manuellen Modus des Bildes und umschalten.
• Im automatischen Modus wird es nach dem Verarbeiten eines Bildes im Betrachter geladen oder gespeichert, um auf Switch geladen zu werden, sodass Sie in der App weiterlesen können, wenn die anderen Bilder übersetzt werden.
• Strg + Mausrad, um ansonsten vertikaler Scrollen zu zoomen
• Die üblichen Trackpad -Gesten eignen sich für die Anzeige des Bildes
• Rechts linke Schlüssel, um zwischen den Bildern zu navigieren

API -Schlüssel

Für die folgenden Auswahl müssen Zugang zu geschlossenen Ressourcen erfordern und anschließend API -Schlüssel:

• GPT-4O oder 4O-Mini für die Übersetzung (bezahlt, ca. 0,01 USD/Seite für 4o)
• Deepl Translator (kostenlos für 500.000 Zeichen/Monat)
• GPT-4O für OCR (Ausfalloption für Französisch, Russisch, Deutsch, Niederländisch, Spanisch, Italienisch) (bezahlt, ca. 0,02 USD/Seite)
• Microsoft Azure Vision für OCR (kostenlos für 5000 Bilder/Monat)
• Google Cloud Vision für OCR (kostenlos für 1000 Bilder/Monat) Sie können Ihre API -Tasten festlegen, indem Sie zu Einstellungen> Anmeldeinformationen gehen

API -Schlüssel bekommen

Offene KI (GPT)

• Gehen Sie auf der OpenAI -Plattform -Website unter Plattform.openai.com und melden Sie sich bei einem OpenAI -Konto an (oder erstellen).
• Bewegen Sie Ihre Maus über die richtige Taskleiste der Seite und wählen Sie "API -Schlüssel".
• Klicken Sie auf "Neue Geheimschlüssel erstellen", um eine neue API -Taste zu generieren. Kopieren und speichern.

Google Cloud Vision

• Anmelden/ein Google Cloud -Konto erstellen. Gehen Sie zum Cloud Resource Manager und klicken Sie auf "Projekt erstellen". Legen Sie Ihren Projektnamen fest.
• Wählen Sie hier Ihr Projekt aus und wählen Sie "Abrechnung" und dann "Konto erstellen". In dem Popup "Billing-Konto aktivieren" und das Angebot eines kostenlosen Testkontos annehmen. Ihr "Kontotyp" sollte individuell sein. Füllen Sie eine gültige Kreditkarte ein.
• Aktivieren Sie Google Cloud Vison für Ihr Projekt hier
• Klicken Sie auf der Seite von Google Cloud -Anmeldeinformationen auf "Anmeldeinformationen erstellen" und dann die API -Taste. Kopieren und speichern.

Wie es funktioniert

Sprachblasenerkennung und Textsegmentierung

Sprach-Bubble-Detektor, Text-Segmentierer. Zwei Yolov8m -Modelle, die auf 8K- und 3K -Bildern von Comics (Manga, Webtoons, Western) trainiert wurden.

OCR

Standardmäßig:

• Easyoc für Englisch
• Manga-OCR für Japanisch
• Pororo für Koreanisch
• Paddleoc für Chinesisch
• GPT-4O für Französisch, Russisch, Deutsch, Niederländisch, Spanisch und Italienisch. Bezahlt, erfordert einen API -Schlüssel.

Optional:

Diese können für eine der unterstützten Sprachen verwendet werden. Ein API -Schlüssel ist erforderlich.

• Google Cloud Vision
• Microsoft Azure Vision

Inpainting

Ein Manga/Anime -Finetuned Lama -Checkpoint zum Entfernen von Text, der vom Segmentierer erkannt wurde. Umsetzungsgericht von Lama-Cleaner

Übersetzung

Derzeit unterstützt dies die Verwendung von GPT-4O, GPT-4O Mini, Deepl, Claude-3-Opus, Claude-3,5-SONNET, Claude-3-Haiku, Gemini-1.5-Flash, Gemini-1.5-Pro, Yandex, Google Translate und Microsoft Translator.

Alle LLMs erhalten den gesamten Seitentext, um Übersetzungen zu unterstützen. Es besteht auch die Möglichkeit, das Bild selbst für einen weiteren Kontext bereitzustellen.

Textrendern

PIL für die Renderung des verpackten Textes in Begrenzungsboxen, die aus Blasen und Text erhalten wurden.

Anerkennung

• https://github.com/ultralytics/ultralytics
• https://github.com/sanster/lama-cleaner
• https://huggingface.co/dremaz
• https://github.com/yunwoong7/korean_ocr_using_pororo
• https://github.com/kha-white/manga-ocr
• https://github.com/jaidedai/easyocr
• https://github.com/paddlepaddle/paddleocr
• https://github.com/phenom-films/dayu_widgets