XLnet gen下载XLnet gen源代码下载

XLnet gen

Ai源码

1.0.0

下载

更新30-01-2021

该存储库已存档。请使用https://github.com/huggingface/transformers，支持XLNET语言生成Pytorch和TensorFlow

XLNET-GEN

使用XLNET生成语言。这不是官方实施。样品在此读取文件的末尾以及samples文件夹中都包含。

中文文章作为此项工作的摘要：https：//medium.com/@amanrusia/xlnet-speaks-comparison-comparison-to-gpt-2-a1a4e9ba39e

COLAB笔记本您可以在其中提供提示：https：//colab.research.google.com/drive/12u-cmb9evmiasnoqjtdw26gmnvsgepbv

用法

步骤1：下载和安装要求（如果需要，请在需求中更改TensorFlow为TensorFlow-GPU。

 git clone https://github.com/rusiaaman/XLnet-gen.git && cd XLnet-gen
pip install -r requirements.txt

步骤2：从https://github.com/zihangdai/xlnet/下载并解开拉链验证的XLNET模型

 wget https://storage.googleapis.com/xlnet/released_models/cased_L-24_H-1024_A-16.zip
unzip cased_L-24_H-1024_A-16.zip

步骤3：使用--interactive Flag以交互式模式运行，或使用--input_file参数传递输入文件，如下所述。使用--unconditional无条件文本生成文本。

 python language_generation.py
     --model_config_path=xlnet_cased_L-24_H-1024_A-16/xlnet_config.json
     --init_checkpoint=xlnet_cased_L-24_H-1024_A-16/xlnet_model.ckpt
     --spiece_model_file=xlnet_cased_L-24_H-1024_A-16/spiece.model
     --interactive
     --max_mem_length=256
     --num_toks_pred=256
     --num_samples=1
     --top_p=0.9
     --bidirectional_eachstep

重要说明

方法论

XLNET是一种基于新颖的语言模型。在当前的XLNET-GEN实现中，我们从左到右生成文本。

使用num_predict=85对XLNET进行了训练，这意味着一个示例中的512个令牌在一个示例中被预测。更重要的是，512-85 = 427代币的其余部分可以在注意机制（Bidrectional Coation）中相互参与。这会在语言生成期间带来常规因果注意机制的问题。面临以下问题：

小环境的使用会导致胡言乱语预测。当前，用硬编码的随机文本作为领先文本，然后是<eod> ，即文档令牌的末尾以及所需的上下文。这有助于少量提示。
由于预处理的性质，上下文令牌以双向方式互相参加。上下文分布在模型的整个输入中。由于这种产生的令牌以因果关系向右导致次优的输出。重新计算隐藏状态的每个步骤都使我们可以对每个新生成的代币进行双向关注，从而大大改善了生成。进行相同的用法--bidirectional_eachstep flag

标志的说明（特定于XLNET-GEN）

--max_mem_length最大序列长度用于预测。注意：要预测的令牌数量可能大于此，但是上下文在开始时被截断。对于--autoregressive情况，这设置了“内存”的大小。
--num_toks_pred代币数量要预测。这可能是我们想要的，但是如果对于默认情况，则max_mem_length将截断。
- 每个提示要生成的样本数的--num_samples 。
--interactive命令行提示输入。
--input_file路径的文件，用于条件提示。提示被一个空线隔开。输出是在新文件中的同一位置生成的，其中带有“ .xlnet”的相同文件名。
--top_p TOP_P参数用于核采样。如果要使用TOP_K采样过程，请设置此0。
--top_k top_k参数top_k采样。仅考虑TOP_K最可能的令牌用于采样。设置top_p=0如果要使用此功能。
--unconditional生成无条件样本。忽略--interactive和--input_file标志。
--bidirectional_eachstep以计算为代价导致更好的输出。方法论中的解释。

抽样方案

TOP-K采样：使用--top_k标志，确保--top_p=0
核采样：使用--top_p标志
置换抽样

关于样品质量的注释

随着有和没有bidirectional_eachstep标志的质量存在巨大差异，每当生成新的令牌时，它会以双向关注重新计算隐藏状态。这可能是由于XLNET鉴定的方式 - 稀疏面具和bidrectional上下文。但是，我目前正在调查此问题，这可能是XLNET的改进领域。
像空引号"" ， " " ，多个连字符的产物---以及""-"的组合都可以归因于不良的培训数据。具体来说，https://github.com/attardi/attardi/wikiextract中似乎有错误，这会导致空白的报价和其他图书馆。
Wikipedia的文章中有很多椭圆形，这在这一代人中反映了。 Wiki数据转储的形式有和没有空间：两者都有. . . ，和... 。
XLNET只能预测段落和文档末尾的结尾，而不能预测新的行字符或选项卡，因此它不会生成文档的良好结构
词汇仅限于英语，并非所有Unicode字符都在词汇中。无法生成其他语言字符和表情符号。

样品

我们已经培训了一种大规模的无监督语言模型，该模型生成了文本的连贯段落，在许多语言建模基准测试基准上实现最先进的性能，并在我们的实验室中使用自动翻译/文本分析（自动化计算机系统）进行基本阅读理解，机器翻译，问答和汇总任务（我们实验室中）。通过这项培训，我们开发了一种自动翻译工具Pro Translation。我们的系统被称为Pro Translation Suite，设计用于文本，计算机文档和网页之间的翻译。 Pro Translation Suite中的所有工具都提供文本和“实时”翻译。该程序还具有广泛的用户友好接口，用于用户指导的软件开发和自定义。 Pro Translation Suite具有许多功能，可提供新的创新翻译任务。此外，Pro Translation Suite还提供了对“实时”翻译系统的增强支持，例如网页的翻译，“实时”语言模型翻译和机器翻译。

目前，我们在开发阶段拥有高度优化的机器人，目前对该机器人的支持正在增加，其中包括（可能）实时翻译引擎“ Trans-To-Trans”。反式跨性别机器人已经进行了优化，优化，并且（也许）可能会成为实时翻译引擎，即“反式跨性别”。作为我们的主要目标之一，我们还将根据实时翻译标准和基准测试该机器人。此外，该机器人已公开可公开评估和使用，免费给公众。

已构建了跨到跨性别机器人，以满足“实时”翻译要求（这是英语翻译方法的要求），这是所有其他机器人翻译都将转换的语言。它是为跨语言翻译而设计的，例如英语和其他流行语言之间的翻译。我们希望将来使用该机器人进行这种翻译，并一直在开发一种翻译工具，我们将在年底在年底发布。 Trans-to-Trans机器人已进行了优化，以满足“实时”翻译要求。这是英语翻译方法的要求。我们一直在研究翻译工具，该工具将在年底附近发布。我们一直在研究翻译工具，该工具将在年底附近发布。

在将火箭登机到火星之前，请记住打包这些物品。首先，您必须为火箭打包火箭盒或助推器。发射器是由世界太空计划开发的特殊产品，该产品是美国政府机构。当您获得发射器时，火箭将是向您建造的。这只需要3天！您应该打包的另一个重要物品是火箭发动机。火箭发动机是由两部分制成的火箭的组成部分。发动机由两个“核心”室组成。主腔室由陶瓷材料构成。第二个腔室由不锈钢制成。第二个腔室的固体核心，称为“火坑”，由碳纤维制成。 “火坑”用密封的塑料密封，然后放入空心盒中，或“ Spar Case”。然后将SPAR盒包含所有其他组件，例如发动机，然后将SPAR盒内部的组件组装在发射场上。在等待火箭组装时，您可以休息并喝牛奶或水。在发射场，将为您提供某种乐器或范围，并在范围内进行指导。任务是发射火箭。火箭将离开发射场。火箭将行驶约5.5小时。

火箭到达时，将为您戴头盔，然后火箭发射。当您抬起头来时，保持眼睛睁开，并尝试保持正轨。重要的是要保持开放并专注于任务。如果您能够做到这一点，那么您将能够安全起飞。另外，请记住喝水并喝新鲜的牛奶。然后，尽最大努力在火箭飞行中防止身体过热。

餐厅厨房有很多东西可以使用。菜是厨师的一个组成部分，它以特定形式或某种方式提供食物。其他类型的菜肴是根据客户或客人的需求准备的。食品服务公司也有不同类型的食物