首页>编程相关>其他源码
下载

语音注释

Linux桌面和Sailfish OS应用程序，用于注释，阅读和翻译，以离线语音到文本，文字到语音和机器翻译

此读数的内容

  • 描述
  • 语言和模型
  • 如何安装
  • Flatpak包
  • beta版本
  • 从来源建造
  • 如何启用自定义模型
  • 有助于语音笔记
  • 如何支持
  • 评论和演示
  • 执照

描述

语音注释让您使用多种语言采用，阅读和翻译笔记。它使用语音将文本，文本和语音翻译和机器翻译做到这一点。文本和语音处理完全是在不使用网络连接的情况下完全离线的，本地在您的计算机上进行。您的隐私始终受到尊重。没有将数据发送到Internet。

语音说明使用许多不同的处理引擎来完成工作。目前使用这些：

  • 对文字的讲话（STT）
    • Coqui Stt（Mozilla DeepSpeech的叉子）
    • 沃斯克
    • 窃窃私语
    • 更快的耳语
    • 4月-ASR
  • 语音文字（TTS）
    • ESPEAK-NG
    • 姆布罗拉
    • 吹笛者
    • Rhvoice
    • coqui tts
    • 模仿3
    • 窃窃私语
  • 机器翻译（MT）
    • 佛手柑翻译器

语言和模型

支持以下语言：

lang id姓名深层语（STT）耳语（Stt）沃斯克（STT） April-ASR（STT）吹笛者（TTS） Rhvoice（TTS） ESPEAK（TTS） Mbrola（TTS） coqui（TTS） MIMIC3（TTS）窃窃私语（TTS）佛手柑（MT​​）
AF南非荷兰语● ● ●
是阿姆哈拉语●（e） ● ● ●
ar阿拉伯● ● ● ● ● ● ●
BG保加利亚语● ● ●
BN孟加拉● ● ● ●
BS波斯尼亚● ● ●
CA加泰罗尼亚● ● ● ● ● ● ●
CS捷克● ● ● ● ● ● ● ● ●
CY威尔士语●
da丹麦语● ● ● ● ●
de德语● ● ● ● ● ● ● ●
El希腊语●（e） ● ● ● ● ● ●
en英语● ● ● ● ● ● ● ● ● ● ●
EO世界语● ● ●
es西班牙语● ● ● ● ● ● ● ●
等爱沙尼亚人●（e） ● ● ● ● ●
欧盟巴斯克●（e） ● ● ●
fa波斯语● ● ● ● ● ● ● ● ●
fi芬兰● ● ● ● ● ● ●
fr法语● ● ● ● ● ● ● ● ●
GA爱尔兰人● ●
古古吉拉特语● ● ●
哈豪萨● ●
他希伯来语● ●
你好印地语● ● ●
人力资源克罗地亚人● ● ● ● ●
胡匈牙利●（e） ● ● ● ● ● ● ●
ID印度尼西亚●（e） ● ● ● ●
是冰岛● ● ● ● ●
它意大利人● ● ● ● ● ● ● ●
JA日本人● ● ● ●
合资爪哇人● ●
ka格鲁吉亚人● ● ● ●
KK哈萨克● ● ● ● ●
ko韩国人● ● ● ●
肯吉尔吉斯● ●
洛杉矶拉丁● ●
磅卢森堡●
上尉立陶宛语● ● ● ● ●
LV拉脱维亚● ● ● ● ●
MK马其顿● ● ●
Mn蒙●（e） ● ●
先生马拉地语● ●
多发性硬化症马来语● ● ● ●
公吨马耳他● ● ●
NE尼泊尔● ● ● ●
NL荷兰●（e） ● ● ● ● ● ● ●
不挪威● ● ● ●
pl抛光● ● ● ● ● ● ● ● ● ● ● ●
pt葡萄牙语●（e） ● ● ● ● ● ● ●
ro罗马尼亚人●（e） ● ● ● ● ●
ru俄语● ● ● ● ● ● ● ●
SK斯洛伐克● ● ● ● ●
SL斯洛文尼亚人●（e） ● ● ● ● ●
平方英尺阿尔巴尼亚人● ● ● ●
Sr塞尔维亚● ● ● ● ●
SV瑞典● ● ● ● ● ● ●
SW斯瓦希里语● ● ● ● ●
TE泰卢固语● ● ●
Th泰国●（e） ● ● ●
TL他加禄语● ● ●
TN TSWANA ● ● ●
tr土耳其●（e） ● ● ● ● ● ● ●
TT塔塔尔● ● ● ●
英国乌克兰● ● ● ● ● ● ● ● ●
uz乌兹别克● ● ● ●
vi越南人● ● ● ● ● ●
哟约鲁巴●（e） ● ● ●
ZH中国人● ● ● ● ● ●

（e）实验，最有可能无法正常工作

更快的耳语，Coqui TTS和Mimic3模型仅在X86-64上可用。

语言模型可以直接从应用程序下载。

Model.json（github）或models.json（gitlab）中描述了当前正在下载的模型的详细信息。

如何安装

  • Linux桌面：Flatpak
  • Arch Linux（AUR）：
    • dsnote
    • dsnote-git
  • Sailfish OS：OpenRepos

Flatpak包

从v4.4.0开始，通过Flatpak（在Flathub上发布）分发的应用程序由以下包组成：

  • 基本软件包“语音注释”（net.mkiol.speechnote）
  • AMD图形卡“语音注释AMD”（net.mkiol.speechnote.addon.amd）的附加组件
  • NVIDIA图形卡“语音注释NVIDIA”（net.mkiol.speechnote.addon.nvidia）的附加组件

基本软件包包括运行应用程序的每个功能所需的所有依赖项。附加组件添加了GPU加速度的功能，从而加快了应用程序中的某些操作。

基本包装和附件包含许多“重型”库，例如Cuda，Rocm，Torch和Python库。因此，安装后包装的大小和所需的空间很重要。如果您不需要所有功能，则可以使用较小的“ Tiny”软件包（在版本页面上可用），仅提供基本功能。如果需要，还可以将“ Tiny”软件包与GPU加速插件一起使用。

基础，微小和附件Flatpak包之间的比较：

尺寸根据微小的AMD附加nvidia附加
下载尺寸0.9吉布70 MIB +2.1 gib +3.8吉布
打开包装的尺寸2.9吉布170 MIB +11.5吉布+6.9吉布
特征根据微小的AMD附加nvidia附加
Coqui/DeepSpeech Stt + +
Vosk Stt + +
耳语（窃窃私语）Stt + +
耳语（hisper.cpp）Stt AMD GPU - - +
耳语（hisper.cpp）stt nvidia gpu - - +
更快的耳语STT + -
更快的耳语stt nvidia gpu - - +
April-ASR Stt + +
特别是TTS + +
Mbrola tts + +
吹笛者TTS + +
Rhvoice TTS + +
coqui tts + -
coqui tts amd gpu - - +
coqui tts nvidia gpu - - +
mimic3 tts + -
窃窃私语+ -
窃窃私语TTS AMD GPU - - +
窃窃私语TTS nvidia gpu - - +
标点恢复+ -
翻译+ +

beta版本

除了Flathub存储库中的稳定版本外，您还可以尝试测试即将发布的版本的“ beta”版本。此版本可用，但可能包含更多错误。

Beta版本可在“ Flathub-Beta”存储库中找到。按照以下说明在计算机上启用Flathub-Beta。

从来源建造

Arch Linux

还可以使用提供的PKGBuild文件从存储库中构建和安装最新开发（GIT）或最新稳定版本（发行版）（请注意，在Linux上构建有关构建的说明相同）： 

 git clone <git repository url>

cd dsnote/arch/git      # build latest git version
# or
cd dsnote/arch/release  # build latest release version

makepkg -si

Flatpak 

 git clone <git repository url>

cd dsnote/flatpak

flatpak-builder --user --install-deps-from=flathub --repo="/path/to/local/flatpak/repo" "/path/to/output/dir" net.mkiol.SpeechNote.yaml

Sailfish OS 

 git clone <git repository url>

cd dsnote
mkdir build
cd build

sfdk config --session specfile=../sfos/harbour-dsnote.spec
sfdk config --session target=SailfishOS-4.4.0.58-aarch64
sfdk cmake ../ -DCMAKE_BUILD_TYPE=Release -DWITH_SFOS=ON -DWITH_PY=OFF
sfdk package

Linux（直接构建）

语音注释具有许多构建时间和运行时依赖性。这包括共享和静态库，第三方可执行文件，Python和Perl脚本。由于这些复杂性，推荐的构建方法是使用Flatpak工具链（Flatpak清单文件和Flatpak-Builder）。如果您想直接构建（即没有Flatpak），这也是可能的，但更复杂。 

 git clone <git repository url>

cd dsnote
mkdir build
cd build

cmake ../ -DCMAKE_BUILD_TYPE=Release -DWITH_DESKTOP=ON
make

要在不支持Python组件的情况下进行构建，请在CMAKE步骤中添加-DWITH_PY=OFF 。

要查看CMakeList.txt文件中的其他构建选项搜索option(BUILD_XXX) 。

如何启用自定义模型

所有可下载的模型均在配置文件（config/models.json）中指定。要启用与当前支持的引擎兼容的自定义模型，请简单地编辑此文件并重新启动应用程序。

首次运行应用程序时，模型配置文件将在以下方式中创建

  • ~/.local/share/net.mkiol/dsnote/models.json ，or
  • ~/.var/app/net.mkiol.SpeechNote/data/net.mkiol/dsnote/models.json （flatpak），或
  • ~/.local/share/org.mkiol/dsnote/models.json （Sailfish OS）

您可以自由编辑当前启用模型或添加新模型。

模型定义看起来像这样： 

 {
    "name": "<model name>",
    "model_id": "<model unique id>",
    "engine": "<engine type>",
    "lang_id": "<lang id>",
    "checksum": "<md5 checksum>",
    "checksum_quick": "<partial md5 checksum>",
    "comp": "<compression type",
    "urls": [
        <model URLs>
    ],
    "size": "<download size of all files>"
}

允许的引擎类型： stt_ds ， stt_vosk ， stt_april ， stt_whisper ， stt_fasterwhisper ， tts_piper ， tts_rhvoice ， tts_espeak ，tts_coqui， tts_coqui ，tts_mimic3， tts_mimic3 ， mnt_bergamot

允许的压缩类型： none ， gz ， xz ， tarxz ， targz ， zip ， zipall ， dir ， dirgz

允许的URL类型： http ， https ， file

解开包装后所有文件计算校验和校验和。如果要添加新型号，则可以使用--gen-checksums命令行选项查找正确的校验和。为此，请在checksum和checksum_quick中放置空字符串，保存文件并使用上述选项运行语音注释。

例如： 

 {
    "name": "New Piper Voice",
    "model_id": "en_piper_new",
    "engine": "tts_piper",
    "lang_id": "en",
    "checksum": "",
    "checksum_quick": "",
    "size": ""
    "comp": "dir",
    "urls": [
        "file:///home/me/models/new-model-medium.onnx",
        "file:///home/me/models/new-model-medium.onnx.json"
    ]
}

 flatpak run net.mkiol.SpeechNote --verbose --gen-checksums

有助于语音笔记

任何贡献都非常欢迎！

项目均在Github和Gitlab上托管。随意制作PR/MR，报告最喜欢的平台上的新功能的问题或重新确定。

翻译

QT格式的翻译文件在translations目录中。

贡献翻译的首选方法是通过Transifex服务，但是如果您想制作直接的PR/MR，请这样做。

如何支持

如果您发现语音注释有用并希望支持该项目，请考虑进行以下一两个：

  • 在github或/和gitlab上给出一个。
  • 在您的应用程序管理器应用程序（发现，软件或任何其他）中编写评论。
  • 通过在社交媒体上提及该应用程序。
  • 如果您有余钱，请通过Liberapay捐款。

库

语音说明依赖于以下开源项目：

  • QT
  • Coqui Stt
  • coqui tts
  • 沃斯克
  • 窃窃私语
  • webrtc vad
  • libarchive
  • rnnoise-nu
  • {FMT}
  • 拥抱面部变压器
  • 吹笛者
  • Rhvoice
  • ssplit-cpp
  • ESPEAK-NG
  • 佛手柑翻译
  • 橡皮筋库
  • Simdjson
  • Nlohmann Json
  • 乌拉曼
  • rustrunc
  • ffmpeg
  • 瘸
  • Vorbis
  • taglib
  • libnumberText
  • kdbusaddons
  • Qhotkey
  • 更快的呼声
  • 模仿3
  • Unikud
  • 4月-ASR
  • 作品
  • html2md
  • 玛蒂
  • 窃窃私语

评论和演示

  • 语音注4.6更改视频（语音注4.6）
  • 屏幕截图（语音注4.5）
  • 语音注4.5更改视频（语音注4.5）
  • 马可的盒子（语音注4.4，意大利语）
  • Marco的盒子视频（语音注4.4，意大利语）
  • 替代品（语音注4.4，意大利语）
  • 备用视频（语音注4.4，意大利语）
  • ZDNET（语音注4.2）
  • Translator功能视频演示在Sailfish OS上（语音注4.0）
  • Translator功能视频演示在松树上（语音注4.0）
  • debugpoint.com（语音注4.0）
  • debugpoint.com视频（语音注4.0）
  • 我的天啊！ Linux（语音注4.0）
  • LinuxLinks（语音注4.0）
  • Linux演员视频（语音注4.0）
  • connectwww.com（语音注4.0）

执照

语音说明是一个开源项目。源代码在Mozilla公共许可证2.0版中发布。

第三方图书馆：

  • Coqui STT ，根据Mozilla公共许可证2.0版发布
  • Coqui TTS ，根据Mozilla公共许可证2.0版发布
  • Vosk API ，发布了Apache许可证2.0
  • Whisper.cpp ，根据麻省理工学院许可证发布
  • Webrtc ，根据此许可发布
  • Libarchive ，根据BSD许可发布
  • rnnoise-nu ，根据BSD 3范围许可发布
  • {fmt} ，发布此许可证
  • 拥抱面孔变压器，在Apache许可证2.0下发布
  • Piper ，根据MIT许可证发布
  • Rhvoice ，根据GNU通用公共许可证v2.0发布
  • SSPLIT-CPP ，根据Apache许可证2.0发布
  • ESPEAK-NG ，根据GNU通用公共许可证v3.0发布
  • 佛手柑翻译，根据Mozilla公共许可证2.0发布
  • 橡皮筋库，根据GNU通用公共许可证（第2版或更高版本）发布
  • Simdjson ，根据Apache许可证2.0发布
  • Nlohmann Json ，根据MIT许可证发布
  • Uroman ，根据此许可发布
  • Surtrunc ，根据MIT许可证发布
  • FFMPEG ，根据GNU较少的通用公共许可证版本2.1或更高版本发布
  • la脚，在LGPL下发布
  • Vorbis ，根据此许可发布
  • Taglib ，根据GNU较少的通用公共许可证（LGPL）和Mozilla公共许可证（MPL）发布
  • LibnumberText ，根据BSD许可发布
  • Kdbusaddons ，根据LGPL许可发行
  • Qhotkey ，根据BSD-3-CAREASE许可发布
  • 更快的旋风，根据麻省理工学院许可发布
  • 模拟3 ，根据AGPL-3.0许可发布
  • Unikud ，根据麻省理工学院许可证发布
  • April-ASR ，根据GNU通用公共许可证v3.0发布
  • Libopus ，根据此许可发布
  • HTML2MD ，根据MIT许可发布
  • Maddy ，根据麻省理工学院许可证发布
  • Whisperspeech ，根据MIT许可证发布

目录nonbreaking_prefixes中的文件已从MosesDecoder项目中复制，并根据GNU Limeser General公共许可证v2.1分发。

展开
附加信息
相关应用
为您推荐
相关资讯 全部