translate hokkien下载 - translate hokkien源代码下载

下载

翻译霍金

添加了Hokkien的模型，翻译和评估（拉丁脚本） - > Hokkien（汉字脚本） *
- - Hokkien（拉丁文脚本）=手动翻译/音译的混合物。自动化的是南部 +北部方言的混合，也是太极拳和poj脚本的混合。
- 结果：微调GPT3.5获得了30％的BLEU（比GPT4-Zero-shot高5倍，获得6％）。
- 结果：该模型对于处理霍基尼基百科很有用，因为它是易于访问的霍金文本的最大来源。

添加了以下内容的翻译和评估：GPT -3.5对12,000个示例（几乎所有Moedict样本）进行了微调，用于普通话 - > Hokkien（汉字脚本）。
结果： BLEU得分21
结论：
- 当有1000多个句子对时，填充的GPT3.5型号肯定比GPT4零射击模型表现更好。
- 一个限制为〜10,000句子对的Finetuned GPT3.5模型的性能比GPT4零射击高55％ ，并且比gpt3.5零射击好了〜↑282％。

添加了MoEdict数据集。它与“英语”列一起（从普通话通过GPT4翻译）。
通过新数据计算得出的BLEU分数。
配x发现以前的BLEU得分计算已关闭。更新的BLEU分数更新！
（数据结构：重构，使它们更容易处理。）
发现：
- 英语 - > Hokkien（POJ脚本） - 初始Naieve模型的BLEU分数很低（1％）
- 普通话 - > Hokkien（汉字脚本） - BLEU更高（7％至17％）。这大约是人们对通过BLEU得分的期望（30％）所期望的一半。
  - GPT-3.5零射：BLEU 7％
  - GPT-3.5在100个示例中进行了微调： 10％
  - GPT-4零射门：BLEU 13％
  - GPT-3.5通过1,000个示例进行了微调： 16％
    - （是的，一种微调的GPT3.5型号播放GPT-4零射击）
假设：
- 对于Zh-> nan（TC）：鉴于芬特的变化（0-> 100-> 1,000个示例= 7％ - > 10％ - > 16％bleu），可以预见的是，如果使用大多数Moedict数据集（〜13,201句子对），那么Bleu得分很有可能达到可通过的水平（30％）。

参考文本
- 收集了Wikipedia（GFDL许可证）和Omniglot（非商业许可）的一些参考文本
- 清理参考文本
- 从Minnan Wikipedia（POJ）产生了一些参考英文翻译。通过从GPT4翻译中获取“中值文本”而产生。这不一定是准确的，而是作为基础。
候选文本
- 生成了一些EN→NAN翻译（通过GPT4和GPT3.5）
评估
- 基于BLEU生成了几次评估
结论和下一步
- 结果：这些评估的BLEU得分非常糟糕，只有umigram得分显示任何非零结果。试图改善这一点的事情：
  - 一个更宽松的POJ令牌仪，通过音节而不是单词来象征。这是因为单词分离并不总是一致的。
  - 一个更宽松的POJ令牌，忽略了变音符。这是因为当前的POJ来源可能不一致。
  - 在任何POJ转换之前，将Hanzi用作基本脚本，用于早期翻译模型。
  - 将普通话中文作为中介。
  - 考虑使用tâi-lô（作为当前存在的hanzi→tâi-lôconverter，而不是hanzi→poj One）。以及tâ-lô如何影响一些源数据。
  - 在任何LLM提示中，请参阅“ hanzi”之类的罗马文字，例如“hàn-jī /hàn-lī”。使用Hokkien脚本可能会使LLM略微偏向于更准确的Hokkien词汇，语法和脚本写作。
- 管道：这些都是在电子表格中生成的。将来，作为数据管道的一部分，它们应该更好地自动化。