langumo

Langumo

语言模型的统一语料库构建环境。

目录

• 介绍
• 主要功能
• 依赖性
• 安装
  • 与pip
  • 来自来源
• 快速启动指南
• 用法
• 文档
• 执照

介绍

langumo是语言模型的统一语料库建设环境。 langumo为构建基于文本的数据集提供管道。构造数据集需要复杂的管道（例如解析，改组和令牌化）。此外，如果从不同来源收集了Corpora，则从各种格式中提取数据将是一个问题。 langumo仅仅立即使用各种格式来构建数据集。

主要功能

• 易于构建，易于添加新的语料库格式。
• 通过性能优化（甚至用Python编写）快速构建。
• 支持在解析语料库中进行多处理。
• 记忆使用次数极少。
• 多合一环境。不要介意内部程序！
• 不需要为新语料库编写代码。而是简单地添加到构建配置。

依赖性

• NLTK
• Colorama
• pyyaml> = 5.3.1
• TQDM> ​​= 4.46.0
• Tokenizers == 0.8.1
• mwparserfromhell> = 0.5.4
• KSS == 1.3.1

安装

与pip

可以使用pip安装langumo如下：

$ pip install langumo

来自来源

您可以通过克隆存储库和运行来安装来自源的langumo ：

$ git clone https://github.com/affjljoo3581/langumo.git
$ cd langumo
$ python setup.py install

快速启动指南

让我们构建一个Wikipedia数据集。首先，在虚拟环境中安装langumo 。

$ pip install langumo

安装langumo后，创建一个用于构建中的工作区。

$ mkdir workspace
$ cd workspace

在创建数据集之前，我们需要一个Wikipedia转储文件（这是数据集的来源）。您可以从此处获取各种版本的Wikipedia转储文件。在本教程中，我们将使用Wikipedia转储文件的一部分。使用您的浏览器下载文件，然后转到workspace/src 。或者，使用wget简单地将文件获取：

$ wget -P src https://dumps.wikimedia.org/enwiki/20200901/enwiki-20200901-pages-articles1.xml-p1p30303.bz2

langumo需要一个构建配置文件，其中包含数据集的详细信息。创建build.yml文件到workspace并编写belows：

 langumo :
  inputs :
  - path : src/enwiki-20200901-pages-articles1.xml-p1p30303.bz2
    parser : langumo.parsers.WikipediaParser

  build :
    parsing :
      num-workers : 8 # The number of CPU cores you have.

    tokenization :
      vocab-size : 32000 # The vocabulary size.

现在，我们准备创建第一个数据集。运行langumo ！

$ langumo

然后，您可以看到以下输出：

 [*] import file from src/enwiki-20200901-pages-articles1.xml-p1p30303.bz2
[*] parse raw-formatted corpus file with WikipediaParser
[*] merge 1 files into one
[*] shuffle raw corpus file: 100%|██████████████████████████████| 118042/118042 [00:01<00:00, 96965.15it/s]
[00:00:10] Reading files (256 Mo)                   ███████████████████████████████████                 100
[00:00:00] Tokenize words                           ███████████████████████████████████ 418863   /   418863
[00:00:01] Count pairs                              ███████████████████████████████████ 418863   /   418863
[00:00:02] Compute merges                           ███████████████████████████████████ 28942    /    28942
[*] export the processed file to build/vocab.txt
[*] tokenize sentences with WordPiece model: 100%|███████████████| 236084/236084 [00:23<00:00, 9846.67it/s]
[*] split validation corpus - 23609  of 236084 lines
[*] export the processed file to build/corpus.train.txt
[*] export the processed file to build/corpus.eval.txt

构建数据集后， workspace将包含以下文件：

 workspace
├── build
│   ├── corpus.eval.txt
│   ├── corpus.train.txt
│   └── vocab.txt
├── src
│   └── enwiki-20200901-pages-articles1.xml-p1p30303.bz2
└── build.yml

用法

 usage: langumo [-h] [config]

The unified corpus building environment for Language Models.

positional arguments:
  config      langumo build configuration

optional arguments:
  -h, --help  show this help message and exit

文档

您可以在网站上找到langumo文档。

执照

langumo是Apache-2.0许可。