lemmatization lists

柠檬水列表

这些是我（合法地）从各种来源收集的几种语言的大型，机器可读的引理/令牌对，主要是我在全球词汇表项目上的一部分。我在全文搜索过程中使用这些用于查询扩展：如果用户搜索引理步行，则查询会扩展以搜索令牌步行，步行等。

这些是纯文本文件（Zipped）。每条线包含一个在此序列中被选项卡字符隔开的引理/令牌对：引理，Tab，令牌。这些文件在UTF-8中编码，Windows风格的线路断路。

• Asturian（AST）（108,792对）
• 保加利亚语（BG）（30,323对）
• 加泰罗尼亚（CA）（591,534对）
• 捷克（CS）（36,400对）
• 英语（EN）（41,760双）
• 爱沙尼亚（ET）（80,536对）
• 法语（FR）（224,002对）
• 加利西亚（GL）（392,856对）
• 德语（DE）（358,473双）
• 匈牙利（HU）（39,898对）
• 爱尔兰（GA）（415,502对）
• Manx Gaelic（GV）（67,177对）
• 意大利语（IT）（341,074对）
• 波斯/法尔西（FA）（6,273对）
• 抛光（PL）（3,296,232对）
• 葡萄牙（PT）（850,264对）
• 罗马尼亚人（RO）（314,810对）
• 俄罗斯（RU）（537,810双）
• 苏格兰盖尔语（GD）（51,624对）
• 斯洛伐克（SK）（858,414对）
• 斯洛文尼（SL）（99,063对）
• 西班牙语（ES）（497,560双）
• 瑞典（SV）（675,137对）
• 乌克兰（英国）（193,703对）
• 威尔士（CY）（359,224对）

执照

• 在开放数据库许可证下可用

来源

• 来自OpenOffice.org网站的各种hunspell词典
• 丹尼尔·纳伯（Daniel Naber）
• Boris New和Christophe Pallier的Lexique
• yasumasa someya的e_lemma.txt
• Multext East（仅使用了未经许可的那些形态词典）
• 弗里利的形态词典
• Saldo形态词典
• 爱尔兰民族形态数据库
• Kevin Scannell的各种列表
• OpenRussian.org