CTCDecoder

Algorithmes de décodage CTC

Mise à jour 2021: package Python installable

Python Implémentation de certains algorithmes de décodage de classification temporelle connexion et de connexion) communs (CTC) . Un modèle de langue minimaliste est fourni.

Installation

• Aller au niveau racine du référentiel
• Exécuter pip install .
• Allez aux tests/ et exécutez pytest pour vérifier si l'installation a fonctionné

Usage

Utilisation de base

Voici un exemple exécutable minimaliste:

 import numpy as np
from ctc_decoder import best_path , beam_search

mat = np . array ([[ 0.4 , 0 , 0.6 ], [ 0.4 , 0 , 0.6 ]])
chars = 'ab'

print ( f'Best path: " { best_path ( mat , chars ) } "' )
print ( f'Beam search: " { beam_search ( mat , chars ) } "' )

Le mat de sortie (réseau Numpy, softmax déjà appliqué) du réseau neuronal formé par CTC devrait avoir forme TXC et est passé comme le premier argument aux décodeurs. T est le nombre de pas dans le temps, et C le nombre de caractères (le CTC-Blank est le dernier élément). Les caractères qui peuvent être prédits par le réseau neuronal sont passés sous forme de chaîne chars au décodeur. Les décodeurs renvoient la chaîne décodée.
Exécution des sorties de code:

 Best path: ""
Beam search: "a"

Pour voir plus d'exemples sur la façon d'utiliser les décodeurs, veuillez consulter les scripts dans les tests/ dossier.

Modèle de langue et bk-arre

La recherche de faisceau peut éventuellement intégrer un modèle de langue au niveau des caractères. Les statistiques de texte (bigrams) sont utilisées par la recherche de faisceau pour améliorer la précision de la lecture.

 from ctc_decoder import beam_search , LanguageModel

# create language model instance from a (large) text
lm = LanguageModel ( 'this is some text' , chars )

# and use it in the beam search decoder
res = beam_search ( mat , chars , lm = lm )

Le décodeur de recherche de lexique calcule une première approximation avec le meilleur décodage de chemin. Ensuite, il utilise un BK-Tree pour récupérer des mots similaires, les marque et renvoie enfin le meilleur mot de score. Le BK-are est créé en fournissant une liste de mots de dictionnaire. Un paramètre de tolérance définit la distance d'édition maximale du mot de requête aux mots du dictionnaire retourné.

 from ctc_decoder import lexicon_search , BKTree

# create BK-tree from a list of words
bk_tree = BKTree ([ 'words' , 'from' , 'a' , 'dictionary' ])

# and use the tree in the lexicon search
res = lexicon_search ( mat , chars , bk_tree , tolerance = 2 )

Utilisation avec des cadres d'apprentissage en profondeur

Quelques notes:

• Aucun adaptateur pour TensorFlow ou Pytorch n'est fourni
• Appliquer Softmax déjà dans le modèle
• Convertir en tableau Numpy
• Habituellement, la sortie d'une couche RNN rnn_output a une forme txbxc, avec b la dimension lot
  • Les décodeurs travaillent sur des éléments de forme unique de forme txc
  • Par conséquent, itérez sur tous les éléments de lot et appliquez le décodeur à chacun d'eux séparément
  • Exemple: Matrice d'extrait de l'élément de lots 0 mat = rnn_output[:, 0, :]
• Le CTC-Blank devrait être le dernier élément le long de la dimension du caractère
  • Tensorflow a le CTC-Blank comme dernier élément, donc rien à faire ici
  • Pytorch, cependant, a le CTC-Blank comme premier élément par défaut, vous devez donc le déplacer à la fin, ou modifier le paramètre par défaut

Liste des décodeurs fournis

Décodeurs recommandés:

• best_path : Meilleur décodeur de chemin (ou gourmand), le plus rapide de tous les algorithmes, cependant, d'autres décodeurs fonctionnent souvent mieux
• beam_search : le décodeur de recherche de faisceau, intègre éventuellement un modèle de langue au niveau des caractères, peut être réglé via le paramètre de largeur de faisceau
• lexicon_search : Lexicon Search Decoder, renvoie le meilleur mot d'un dictionnaire d'un dictionnaire

D'autres décodeurs, de mon expérience, pas vraiment adaptés à des fins pratiques, mais peuvent être utilisés pour des expériences ou des recherches:

• prefix_search : décodeur de recherche de préfixe
• token_passing : algorithme de passage à token
• Meilleure implémentation de décodeur de chemin dans OpenCL (voir extras/ dossier)

Cet article donne des suggestions pour utiliser le meilleur décodage de chemin, le décodage de recherche de faisceau et le passage des jetons.

Documentation des cas de test et des données

• Documentation des cas de test
• Documentation des données

Références

• Graves - Étiquetage des séquences supervisées avec des réseaux de neurones récurrents
• Hwang - Reconnaissance incrémentale de parole au niveau des caractères avec réseaux de neurones récurrents
• SHI - Un réseau de neurones entraînant de bout en bout pour la reconnaissance de séquences basée sur l'image et son application à la reconnaissance de texte de la scène
• Marti - The IAM-Database: Une base de données de phrases en anglais pour la reconnaissance de l'écriture hors ligne
• Décodage de recherche de faisceau dans les réseaux de neurones formés par CTC
• Une explication intuitive de la classification temporelle connexionniste
• Scheidl - Comparaison des algorithmes de décodage de classification temporelle connexionniste
• Scheidl - Recherche de faisceau de mots: un algorithme de décodage de classification temporelle connexionniste