CTCDecoder

อัลกอริทึมการถอดรหัส CTC

อัปเดต 2021: แพ็คเกจ Python ที่ติดตั้งได้

การใช้ Python การจำแนกประเภทการเชื่อมต่อชั่วคราว (CTC) อัลกอริทึมการถอดรหัส มี รูปแบบภาษา ที่เรียบง่าย

การติดตั้ง

• ไปที่ระดับรากของที่เก็บ
• ดำเนินการ pip install .
• ไปที่ tests/ และดำเนินการ pytest เพื่อตรวจสอบว่าการติดตั้งใช้งานได้หรือไม่

การใช้งาน

การใช้งานขั้นพื้นฐาน

นี่คือตัวอย่างการดำเนินการที่เรียบง่าย:

 import numpy as np
from ctc_decoder import best_path , beam_search

mat = np . array ([[ 0.4 , 0 , 0.6 ], [ 0.4 , 0 , 0.6 ]])
chars = 'ab'

print ( f'Best path: " { best_path ( mat , chars ) } "' )
print ( f'Beam search: " { beam_search ( mat , chars ) } "' )

mat เอาท์พุท (อาร์เรย์ Numpy, Softmax ใช้แล้ว) ของเครือข่ายประสาทที่ได้รับการฝึกอบรม CTC คาดว่าจะมีรูปร่าง TXC และถูกส่งผ่านเป็นอาร์กิวเมนต์แรกไปยังตัวถอดรหัส T คือจำนวนขั้นตอนเวลาและ C จำนวนอักขระ (CTC-BLANK เป็นองค์ประกอบสุดท้าย) อักขระที่สามารถคาดการณ์ได้โดยเครือข่ายประสาทจะถูกส่งผ่านเป็นสตริง chars ไปยังตัวถอดรหัส ตัวถอดรหัสส่งคืนสตริงถอดรหัส
รันรหัสเอาต์พุต:

 Best path: ""
Beam search: "a"

หากต้องการดูตัวอย่างเพิ่มเติมเกี่ยวกับวิธีการใช้ตัวถอดรหัสโปรดดูสคริปต์ใน tests/ โฟลเดอร์

รูปแบบภาษาและต้นไม้ BK

การค้นหาลำแสงสามารถเลือกรูปแบบภาษาระดับอักขระได้ สถิติข้อความ (bigrams) ใช้โดยการค้นหาลำแสงเพื่อปรับปรุงความแม่นยำในการอ่าน

 from ctc_decoder import beam_search , LanguageModel

# create language model instance from a (large) text
lm = LanguageModel ( 'this is some text' , chars )

# and use it in the beam search decoder
res = beam_search ( mat , chars , lm = lm )

ตัวถอดรหัสการค้นหาพจนานุกรมคำนวณการประมาณครั้งแรกด้วยการถอดรหัสเส้นทางที่ดีที่สุด จากนั้นมันใช้ BK-Tree เพื่อดึงคำที่คล้ายกันให้คะแนนและในที่สุดก็ส่งคืนคำให้คะแนนที่ดีที่สุด BK-Tree ถูกสร้างขึ้นโดยให้รายการคำพจนานุกรม พารามิเตอร์ความอดทนกำหนดระยะการแก้ไขสูงสุดจากคำสืบค้นเป็นคำพจนานุกรมที่ส่งคืน

 from ctc_decoder import lexicon_search , BKTree

# create BK-tree from a list of words
bk_tree = BKTree ([ 'words' , 'from' , 'a' , 'dictionary' ])

# and use the tree in the lexicon search
res = lexicon_search ( mat , chars , bk_tree , tolerance = 2 )

การใช้งานด้วยกรอบการเรียนรู้อย่างลึกซึ้ง

หมายเหตุบางอย่าง:

• ไม่มีอะแดปเตอร์สำหรับ tensorflow หรือ pytorch
• ใช้ softmax อยู่แล้วในรุ่น
• แปลงเป็นอาร์เรย์ numpy
• โดยปกติแล้วเอาต์พุตของเลเยอร์ rnn rnn_output มีรูปร่าง txbxc โดยมี b the batch dimension
  • ตัวถอดรหัสทำงานกับองค์ประกอบชุดเดียวของรูปร่าง TXC
  • ดังนั้นจึงวนซ้ำองค์ประกอบแบทช์ทั้งหมดและใช้ตัวถอดรหัสกับแต่ละรายการแยกกัน
  • ตัวอย่าง: สารสกัดเมทริกซ์ขององค์ประกอบแบทช์ 0 mat = rnn_output[:, 0, :]
• CTC-blank คาดว่าจะเป็นองค์ประกอบสุดท้ายตามมิติของตัวละคร
  • Tensorflow มี CTC-blank เป็นองค์ประกอบสุดท้ายดังนั้นไม่มีอะไรทำที่นี่
  • อย่างไรก็ตาม Pytorch มีองค์ประกอบ CTC-blank เป็นค่าเริ่มต้นโดยค่าเริ่มต้นดังนั้นคุณต้องย้ายไปยังจุดสิ้นสุดหรือเปลี่ยนการตั้งค่าเริ่มต้น

รายชื่อตัวถอดรหัสที่ให้ไว้

ตัวถอดรหัสที่แนะนำ:

• best_path : ตัวถอดรหัสเส้นทางที่ดีที่สุด (หรือโลภ) ซึ่งเร็วที่สุดของอัลกอริทึมทั้งหมดอย่างไรก็ตามตัวถอดรหัสอื่น ๆ มักจะทำงานได้ดีขึ้น
• beam_search : ตัวถอดรหัสการค้นหาลำแสงตัวเลือกรวมโมเดลภาษาระดับอักขระสามารถปรับได้ผ่านพารามิเตอร์ความกว้างของลำแสง
• lexicon_search : ตัวถอดรหัสการค้นหาพจนานุกรมส่งคืนคำให้คะแนนที่ดีที่สุดจากพจนานุกรม

ตัวถอดรหัสอื่น ๆ จากประสบการณ์ของฉันไม่เหมาะสำหรับวัตถุประสงค์ในทางปฏิบัติ แต่อาจใช้สำหรับการทดลองหรือการวิจัย:

• prefix_search : คำนำหน้าตัวถอดรหัสการค้นหา
• token_passing : อัลกอริทึมการส่งผ่านโทเค็น
• การติดตั้งตัวถอดรหัสเส้นทางที่ดีที่สุดใน OpenCL (ดู extras/ Folder)

บทความนี้ให้คำแนะนำเมื่อใดที่จะใช้การถอดรหัสเส้นทางที่ดีที่สุดการถอดรหัสการค้นหาลำแสงและโทเค็นผ่าน

เอกสารของกรณีทดสอบและข้อมูล

• เอกสารของกรณีทดสอบ
• เอกสารของข้อมูล

การอ้างอิง

• Graves - การติดฉลากลำดับภายใต้การดูแลด้วยเครือข่ายประสาทอีกครั้ง
• Hwang - การจดจำคำพูดที่เพิ่มขึ้นระดับตัวละครด้วยเครือข่ายประสาทกำเริบ
• Shi-เครือข่ายประสาทเทรน
• Marti - IAM -DATABASE: ฐานข้อมูลประโยคภาษาอังกฤษสำหรับการจดจำลายมือออฟไลน์
• การถอดรหัสการค้นหาลำแสงในเครือข่ายประสาทที่ผ่านการฝึกอบรม CTC
• คำอธิบายที่ใช้งานง่ายของการจำแนกประเภทการเชื่อมต่อชั่วคราว
• Scheidl - การเปรียบเทียบอัลกอริทึมการจำแนกประเภทการเชื่อมต่อชั่วคราว
• Scheidl - การค้นหาคานคำ: อัลกอริทึมการจัดประเภทการจำแนกประเภทการเชื่อมต่อชั่วคราว