comic translate
1.0.0
Anglais | 한국어 | Français | 简体中文 | 日本語 | Portuguest Brasileiro
De nombreux traducteurs de mangas automatiques existent. Très peu soutiennent correctement les bandes dessinées d'autres types dans d'autres langues. Ce projet a été créé pour utiliser la capacité des modèles de grande langue (SOTA) (LLM) comme GPT-4 et traduire des bandes dessinées du monde entier. Actuellement, il soutient la traduire vers et depuis l'anglais, le coréen, le japonais, le français, le chinois simplifié, le chinois traditionnel, le russe, l'allemand, le néerlandais, l'espagnol et l'italien. Il peut se traduire en (mais pas à partir de) Portugais turc, polonais, portugais et brésilien.
L'état de la traduction machine
Prévisualisation
Commencer
Comment ça marche
Remerciements
Pour une douzaine de langues, le meilleur traducteur machine n'est pas Google Translate, Papago ou même Deepl, mais un Sota LLM comme GPT-4O, et de loin. Ceci est très évident pour les paires de langues éloignées (coréen <-> anglais, japonais <-> anglais, etc.) où d'autres traducteurs se transforment encore souvent en charabia. Extrait de "The Walking Practice" (보행 연습) par Dolki Min (돌기민)
GPT-4 comme traducteur. Remarque: certains d'entre eux ont également des traductions en anglais officielles
Le misérable des hautes mers
Voyage vers l'ouest
La saga Wormworld
FRIENEN: Beyond Journey's End
Jours de sable
Joueur (Oh Hyeon-Jun)
Carbone et silicium
Installez Python (> = 3.10). Cochez "Ajouter python.exe au chemin" pendant la configuration.
https://www.python.org/downloads/Clone le dépôt (ou télécharger le dossier), accéder au dossier
git clone https://github.com/ogkalu2/comic-translate
cd comic-translateet installer les exigences
pip install -r requirements.txtSi vous rencontrez des problèmes, vous pouvez essayer de l'exécuter dans un environnement virtuel. Ouvrez le terminal / cmd dans le répertoire que vous souhaitez l'installation de l'environnement virtuel (ou CD 'Path / To / Virtual Environment / Folder'). Créez votre environnement virtuel avec:
python -m venv comic-translate-venvActivez maintenant l'environnement virtuel. Sur Windows:
comic-translate-venv S cripts a ctivateSur Mac et Linux:
source comic-translate-venv/bin/activateVous pouvez maintenant exécuter les commandes d'installation. Lorsque vous avez fini d'utiliser l'application, vous pouvez désactiver l'environnement Virtul avec:
deactivatePour réactiver, utilisez les mêmes commandes avec le terminal dans le dossier dans lequel se trouve votre dossier d'environnement virtuel.
Si vous avez un GPU NVIDIA, il est recommandé de fonctionner
pip uninstall torch torchvision
pip install torch==2.1.0+cu121 -f https://download.pytorch.org/whl/torch_stable.html
pip install torchvision==0.16.0+cu121 -f https://download.pytorch.org/whl/torch_stable.htmlRemarque: Le 121 dans + Cu121 représente la version CUDA - 12.1. Remplacez 121 par votre version CUDA. Par exemple 118 si vous utilisez Cuda 11.8
Dans le répertoire de la bande dessinée, exécutez
python comic.pyCela lancera l'interface graphique
raise RarCannotExec( " Cannot find working tool " )Dans ce cas, des instructions pour Windows, Linux, Mac
Aux sélections suivantes nécessiteront l'accès aux ressources fermées et par la suite, les clés API:
Speech-buble-détecteur, segmenteur de texte. Deux modèles Yolov8m formés sur des images 8K et 3K de bandes dessinées (manga, webtoons, occidental) respectivement.
Par défaut:
Facultatif:
Ceux-ci peuvent être utilisés pour l'une des langues prises en charge. Une clé API est requise.
Un point de contrôle LAMA manga / anime finetuned pour supprimer le texte détecté par le segmenter. Courtsey de mise en œuvre de Lama-Cleaner
Actuellement, cela prend en charge l'utilisation de GPT-4O, GPT-4O Mini, Deepl, Claude-3-Opus, Claude-3.5-Sonnet, Claude-3-Haiku, Gemini-1.5-Flash, Gemini-1.5-Pro, Yandex, Google Translate et Microsoft Translateur.
Tous les LLM sont nourris avec le texte de la page entière pour aider les traductions. Il y a aussi la possibilité de fournir l'image elle-même pour un contexte supplémentaire.
PIL pour rendu du texte enveloppé dans des boîtes de délimitation obtenues à partir de bulles et de texte.
