sherpa onnx

サポートされている機能

音声認識	音声合成
✔️	✔️

話者の識別	話者のダイアライゼーション	話者の検証
✔️	✔️	✔️

音声言語の識別	音声のタグ付け	音声アクティビティの検出
✔️	✔️	✔️

キーワードの発見	句読点を追加する
✔️	✔️

サポートされているプラ​​ットフォーム

建築	アンドロイド	iOS	窓	macOS	リナックス	ハーモニーOS
x64	✔️		✔️	✔️	✔️	✔️
x86	✔️		✔️
腕64	✔️	✔️	✔️	✔️	✔️	✔️
腕32	✔️				✔️	✔️
riscv64					✔️

サポートされているプログラミング言語

1.C++	2.C	3. パイソン	4. JavaScript
✔️	✔️	✔️	✔️

5. ジャワ	6.C#	7. コトリン	8.スウィフト
✔️	✔️	✔️	✔️

9. 行く	10. ダーツ	11. さび	12. パスカル
✔️	✔️	✔️	✔️

Rust のサポートについては、sherpa-rs を参照してください。

WebAssembly もサポートしています。

導入

このリポジトリは、次の関数のローカルでの実行をサポートしています。

• 音声からテキストへの変換 (つまり、ASR)。ストリーミングと非ストリーミングの両方がサポートされています
• テキスト読み上げ (TTS)
• 話者のダイアライゼーション
• 話者の識別
• 話者の検証
• 音声言語の識別
• 音声のタグ付け
• VAD (例: silero-vad)
• キーワードの発見

次のプラットフォームとオペレーティング システム上で動作します。

• x86、 x86_64ビット ARM、64 ビット ARM (arm64、aarch64)、RISC-V (riscv64)
• Linux、macOS、Windows、openKylin
• アンドロイド、WearOS
• iOS
• ハーモニーOS
• NodeJS
• Webアセンブリ
• ラズベリーパイ
• RV1126
• ライチPi4A
• ビジョンファイブ 2
• 旭日X3派
• 愛し芯派
• 等

次の API を使用して

• C++、C、Python、Go、 C#
• Java、Kotlin、JavaScript
• スイフト、ラスト
• ダーツ、オブジェクト パスカル

ハグフェイス スペースのリンク

次の Huggingface スペースにアクセスして、何もインストールせずに sherpa-onnx を試すことができます。必要なのはブラウザだけです。

説明	URL
話者のダイアライゼーション	クリックしてください
音声認識	クリックしてください
ウィスパーによる音声認識	クリックしてください
音声合成	クリックしてください
字幕を生成する	クリックしてください
音声のタグ付け	クリックしてください
Whisper による音声言語の識別	クリックしてください

WebAssembly を使用して構築されたスペースもあります。それらは以下にリストされています。

説明	ハグフェイススペース	モデルスコープ空間
silero-vad による音声アクティビティの検出	クリックしてください	地址
Zipformer によるリアルタイム音声認識 (中国語 + 英語)	クリックしてください	地址
Paraformer によるリアルタイム音声認識 (中国語 + 英語)	クリックしてください	地址
Paraformer-large によるリアルタイム音声認識 (中国語 + 英語 + 広東語)	クリックしてください	地址
リアルタイム音声認識 (英語)	クリックしてください	地址
VAD + SenseVoice による音声認識 (中国語 + 英語 + 韓国語 + 日本語 + 広東語)	クリックしてください	地址
VAD + Whisper tiny.en による音声認識 (英語)	クリックしてください	地址
Moonshine tiny による VAD + 音声認識 (英語)	クリックしてください	地址
GigaSpeech でトレーニングされた Zipformer を使用した VAD + 音声認識 (英語)	クリックしてください	地址
WenetSpeech でトレーニングされた Zipformer を使用した VAD + 音声認識 (中国語)	クリックしてください	地址
ReazonSpeech でトレーニングされた Zipformer を使用した VAD + 音声認識 (日本語)	クリックしてください	地址
GigaSpeech2 でトレーニングされた Zipformer を使用した VAD + 音声認識 (タイ語)	クリックしてください	地址
TeleSpeech-ASR CTC モデルによる VAD + 音声認識 (中国語多种方言)	クリックしてください	地址
Paraformer-large による VAD + 音声認識 (英語 + 中国語、及多种中文方言)	クリックしてください	地址
Paraformer-small による VAD + 音声認識 (英語 + 中国語、及多种中文方言)	クリックしてください	地址
音声合成（英語）	クリックしてください	地址
音声合成（ドイツ語）	クリックしてください	地址
話者のダイアライゼーション	クリックしてください	地址

事前に構築された Android APK のリンク

このリポジトリ用に事前に構築された Android APK は次の表にあります。

説明	URL	中国用户
話者のダイアライゼーション	住所	点ここ
ストリーミング音声認識	住所	点ここ
テキスト読み上げ	住所	点ここ
音声アクティビティ検出 (VAD)	住所	点ここ
VAD + 非ストリーミング音声認識	住所	点ここ
2パス音声認識	住所	点ここ
音声のタグ付け	住所	点ここ
音声タグ付け (WearOS)	住所	点ここ
話者の識別	住所	点ここ
音声言語の識別	住所	点ここ
キーワードの発見	住所	点ここ

事前に構築された Flutter APP へのリンク

リアルタイム音声認識

説明	URL	中国用户
ストリーミング音声認識	住所	点ここ

テキスト読み上げ

説明	URL	中国用户
Android (arm64-v8a、armeabi-v7a、x86_64)	住所	点ここ
Linux (x64)	住所	点ここ
macOS (x64)	住所	点ここ
macOS (arm64)	住所	点ここ
Windows (x64)	住所	点ここ

注: iOS のソースからビルドする必要があります。

事前に構築された Lazarus APP へのリンク

字幕の生成

説明	URL	中国用户
字幕生成 (字幕生成)	住所	点ここ

事前トレーニングされたモデルへのリンク

説明	URL
音声認識 (音声テキスト変換、ASR)	住所
テキスト読み上げ (TTS)	住所
VAD	住所
キーワードの発見	住所
音声のタグ付け	住所
スピーカー識別 (Speaker ID)	住所
音声言語識別 (言語 ID)	音声認識の多言語 Whisper ASR モデルを確認する
句読点	住所
話者のセグメンテーション	住所

一部の事前トレーニング済み ASR モデル (ストリーミング)

ご覧ください

• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-transducer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-paraformer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/online-ctc/index.html

他のモデルについても。次の表には、その一部のみがリストされています。

名前	サポートされている言語	説明
sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20	中国語、英語	こちらも参照
sherpa-onnx-streaming-zipformer-small-bilingual-zh-en-2023-02-16	中国語、英語	こちらも参照
シェルパ-onnx-ストリーミング-zipformer-zh-14M-2023-02-23	中国語	Cortex A7 CPUに適しています。こちらも参照
sherpa-onnx-streaming-zipformer-en-20M-2023-02-17	英語	Cortex A7 CPUに適しています。こちらも参照
sherpa-onnx-streaming-zipformer-korean-2024-06-16	韓国人	こちらも参照
シェルパ-onnx-ストリーミング-zipformer-fr-2023-04-14	フランス語	こちらも参照

一部の事前トレーニング済み ASR モデル (非ストリーミング)

ご覧ください

• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-transducer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-paraformer/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/offline-ctc/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/telespeech/index.html
• https://k2-fsa.github.io/sherpa/onnx/pretrained_models/whisper/index.html

他のモデルについても。次の表には、その一部のみがリストされています。

名前	サポートされている言語	説明
ささやき tiny.en	英語	こちらも参照
ムーンシャイン・タイニー	英語	こちらも参照
sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17	中国語、広東語、英語、韓国語、日本語	多种中国語方言をサポートします。こちらも参照
シェルパ-onnx-パラフォーマー-zh-2024-03-09	中国語、英語	多种中国語方言もサポートします。こちらも参照
sherpa-onnx-zipformer-ja-reazonspeech-2024-08-01	日本語	こちらも参照
シェルパ-onnx-nemo-transducer-giga-am-russian-2024-10-24	ロシア	こちらも参照
シェルパ-onnx-nemo-ctc-giga-am-russian-2024-10-24	ロシア	こちらも参照
シェルパ-onnx-zipformer-ru-2024-09-18	ロシア	こちらも参照
シェルパ-onnx-zipformer-韓国語-2024-06-24	韓国人	こちらも参照
シェルパ-onnx-zipformer-thai-2024-06-20	タイ語	こちらも参照
シェルパ-onnx-テレスピーチ-ctc-int8-zh-2024-06-04	中国語	複数の方言をサポートします。こちらも参照

役立つリンク

• ドキュメント: https://k2-fsa.github.io/sherpa/onnx/
• Bilibili 演示ビデオ: https://search.bilibili.com/all?keyword=%E6%96%B0%E4%B8%80%E4%BB%A3Kaldi

連絡方法

新一代Kaldi微信交流群とQQ交流群については、https://k2-fsa.github.io/sherpa/social-groups.htmlをご覧ください。

sherpa-onnx を使用したプロジェクト

ボイスアピ

FastAPI に基づくストリーミング ASR および TTS

FastAPI で ASR および TTS Python API を使用する方法を示します。

腾讯会议摸鱼工具 TMSpeech

グラフィカル ユーザー インターフェイスを備えた C# でストリーミング ASR を使用します。

中国語のビデオデモ: 【开源】Windows实時字幕软件（网课/开会必备）

笑 相互アニメーション助手

sherpa-onnx の JavaScript API と Electron を使用します。

中国語のビデオデモ: 爆了！炫神教你开打字挂！真正影响胜率的英雄联盟工具！英雄联盟的最后一块拼图！和游戏中の每个人無碍沟通！