XLnet genダウンロードXLnet genソースコードのダウンロード

XLnet gen

AI ソースコード

1.0.0

ダウンロード

更新30-01-2021

このリポジトリはアーカイブされています。 pytorchとtensorflowの両方でxlnet言語生成をサポートするhttps://github.com/huggingface/transformersを使用してください

xlnet-gen

xlnetを使用して言語を生成します。これは公式の実装ではありません。サンプルは、このREADMEの最後に、およびsamplesフォルダーに含まれています。

この取り組みの要約としての中記事：https：//medium.com/@amanrusia/xlnetpeaks-comparison-to-gpt-2-ea1a4e9ba39e

プロンプトを与えることができるColabノートブック：https：//colab.research.google.com/drive/12u-cmb9evmiasnoqjtdw26gmnvsgepbv

使用法

ステップ1：要件をダウンロードしてインストールします（必要に応じてtensorflowをtensorflow-gpuに変更します。
```
 git clone https://github.com/rusiaaman/XLnet-gen.git && cd XLnet-gen
pip install -r requirements.txt
```
ステップ2：https://github.com/zihangdai/xlnet/から事前に処理されたxlnetモデルをダウンロードして解凍します
```
 wget https://storage.googleapis.com/xlnet/released_models/cased_L-24_H-1024_A-16.zip
unzip cased_L-24_H-1024_A-16.zip
```

ステップ3： --interactiveフラグを使用してインタラクティブモードで実行するか、 --input_file引数を使用して入力ファイルを渡します。条件付けされたテキストなしでテキストを生成するための使用--unconditional 。

 python language_generation.py
     --model_config_path=xlnet_cased_L-24_H-1024_A-16/xlnet_config.json
     --init_checkpoint=xlnet_cased_L-24_H-1024_A-16/xlnet_model.ckpt
     --spiece_model_file=xlnet_cased_L-24_H-1024_A-16/spiece.model
     --interactive
     --max_mem_length=256
     --num_toks_pred=256
     --num_samples=1
     --top_p=0.9
     --bidirectional_eachstep

重要なメモ

方法論

XLNETは、新しい順列ベースの言語モデルです。 XLNet-Genの現在の実装では、左から右にテキストを生成します。

XLNETはnum_predict=85を使用してトレーニングされます。これは、1つの例で512のうち85トークンが一度に予測されることを意味します。さらに重要なことに、512-85 = 427のトークンの残りは、注意メカニズム（双方向の注意）で互いに出席できます。これにより、言語生成中の従来の因果注意メカニズムの問題が生じます。次の問題が直面しました：

小さなコンテキストの使用は、意味のない予測につながります。現在、ハードコーディングされたランダムテキストは、 <eod> 、ドキュメントトークンの終わりである主要なテキストとして、目的のコンテキストとして含まれています。これは小さなプロンプトに役立ちます。
事前トレーニングの性質により、コンテキストトークンは双方向の方法で互いに出席します。そして、コンテキストはモデルの入力全体に広がっています。このため、因果的な方法で左から右に生成されるトークンは、最適ではない出力につながります。隠された状態を再計算すると、各ステップにより、生成された各トークンが発生を大幅に改善する各生成トークンに双方向の注意を引くことができます。同じ使用を行うには、 --bidirectional_eachstepフラグを行います

フラグの説明（xlnet-genに固有）

--max_mem_length予測に使用される最大シーケンス長。注：予測されるトークンの数はこれよりも大きくなる可能性がありますが、最初はコンテキストが切り捨てられます。 --autoregressiveの場合、これは「メモリ」のサイズを設定します。
--num_toks_pred予測するトークンの数。これは私たちが望むほど大きくすることができますが、デフォルトのケースのmax_mem_lengthよりも長い場合、コンテキストは切り捨てられます。
--num_samples各プロンプトのサンプルの数を生成する数。
--interactiveコマンドラインプロンプト入力。
--input_file条件付きプロンプトに使用されるファイルへのパス。プロンプトは空の行で分離されます。出力は、同じファイル名が「.xlnet」に追加された新しいファイルの同じ場所で生成されます。
--top_p核サンプリング用のTOP_Pパラメーター。 TOP_Kサンプリングプロセスを使用する場合は、この0を設定します。
--top_k top_kサンプリングのパラメーター。 TOP_Kのみのほとんどの可能性のあるトークンは、サンプリングのために考慮されています。これを使用する場合は、 top_p=0を設定します。
--unconditional無条件のサンプルを生成します。無視--interactiveおよび--input_fileフラグ。
--bidirectional_eachstep 、計算を犠牲にしてはるかに優れた出力につながります。方法論の説明。

サンプリングスキーム

TOP-Kサンプリング： --top_kフラグを使用し、 --top_p=0を確保します
核サンプリング： --top_pフラグを使用します
順列サンプリング

サンプルの品質に関するメモ

bidirectional_eachstepフラグの有無にかかわらず品質には大きな違いがあります。これは、新しいトークンが生成されるたびに、双方向の注意を払って隠された状態の再計算をオンにします。これはおそらく、XLNETが前提とされていた方法によるものです。つまり、まばらなマスクと入札の文脈があります。しかし、私は現在この問題を調査していますが、これはXLNETの改善領域になる可能性があります。
空の引用符のようなアーティファクトの生成"" " " 、"、 "、"、複数のハイフン--- 、およびそれらの組み合わせ""-"すべて悪いトレーニングデータに起因する可能性があります。具体的には、https://github.com/attardi/wikiextractorにはバグがあるようです。
ウィキペディアには、その記事に多くの楕円があり、それが世代に反映されています。 Wiki Data Dumpには、スペースの有無にかかわらずフォームにあります. . . 、そして... 。
XLNETは段落の終わりとドキュメントの終わりのみを予測できますが、新しいライン文字やタブは予測できないため、ドキュメントの良好な構造を生成しません
語彙は英語に限定されており、すべてのユニコード文字が語彙にあるわけではありません。他の言語文字と絵文字を生成できません。

サンプル

一貫したテキストの段落を生成し、多くの言語モデリングベンチマークで最新のパフォーマンスを達成し、自動化されたコンピューターシステムを使用した自動化された翻訳/テキスト分析を使用して、ラボでの初歩的な読解力、機械翻訳、質問回答、要約タスクを実行する大規模な監視されていない言語モデルをトレーニングしました。このトレーニングから、自動化された翻訳ツールであるPro翻訳を開発しました。私たちのシステムは、Pro Translation Suiteとして知られており、テキスト、コンピュータードキュメント、Webページの間の翻訳用に設計されています。 Pro Translation Suiteのすべてのツールは、テキストと「リアルタイム」翻訳の両方を提供します。このプログラムは、ユーザー指向の開発とソフトウェアのカスタマイズのための広範なユーザーフレンドリーなインターフェイスも備えています。 Pro Translation Suiteには、新しい革新的な翻訳タスクを提供する多くの機能があります。さらに、Pro Translation Suiteは、Webページの翻訳、「リアルタイム」翻訳、言語モデルの翻訳、機械翻訳など、「リアルタイム」翻訳システムの強化されたサポートを提供します。

現在、開発段階に高度に最適化されたロボットがあり、このロボットのサポートは現在、（おそらく）リアルタイム翻訳エンジン「The Trans-trans」を含めるように増加しています。トランスツートランスロボットは最適化され、最適化されており、（おそらく）リアルタイムの翻訳エンジン「トランストゥラン」になる可能性があります。主な目標の1つとして、このロボットはリアルタイムの翻訳標準とベンチマークに対してテストします。さらに、このロボットは、無料で公開され、一般に公開され、使用するために公開されています。

トランスツートランスロボットは、「リアルタイム」翻訳要件（英語翻訳方法の要件）を満たすために構築されています。これは、他のすべてのロボット翻訳が変換される言語です。英語と他の一般的な言語の間の翻訳など、トランスリンガル翻訳のために設計されています。このロボットを使用して将来そのような翻訳を行うことを期待しており、年末近くでリリースする翻訳ツールに取り組んでいます。トランスツートランスロボットは、「リアルタイム」の翻訳要件を満たすために最適化されています。これは、英語翻訳方法の要件です。私たちは、年末近くにリリースされる翻訳ツールに取り組んできました。私たちは、年末近くにリリースされる翻訳ツールに取り組んできました。

ロケットに火星に搭乗する前に、これらのアイテムを梱包することを忘れないでください。まず、ロケット用のロケットケース、またはブースターを詰め込む必要があります。ランチャーは、米国の政府機関である世界宇宙プログラムによって開発された特別な製品です。ランチャーを手に入れると、ロケットが構築されます。そして、それはたった3日かかります！梱包する必要があるもう1つの重要なアイテムは、ロケットエンジンです。ロケットエンジンは、2つの部分で作られたロケットのコンポーネントです。エンジンは2つの「コア」チャンバーで構成されています。メインチャンバーは、セラミック材料で構成されています。 2番目のチャンバーはステンレス鋼で作られています。「ファイヤーピット」と呼ばれる2番目のチャンバーの固体コアは、炭素繊維で作られています。「ファイヤーピット」は、シールオンプラスチックで密閉されてから、中空の箱、または「スパーケース」に入れられます。 SPARケースには、エンジンなどの他のすべてのコンポーネントが含まれており、SPARケース内のコンポーネントが起動サイトで組み立てられます。ロケットが組み立てられるのを待っている間、あなたはあなたの牛乳や水を休んで飲むことができます。起動場では、ある種の楽器またはスコープが与えられ、スコープに導かれます。ミッションは、ロケットを起動することです。ロケットは打ち上げサイトを離れます。ロケットは約5.5時間移動します。

ロケットが到着すると、ヘルメットが与えられ、ロケットが発射されます。持ち上げているときは、目を開けて、順調に進んでください。オープンでミッションに集中することが重要です。これを行うことができれば、安全に飛び去ることができます。また、水を飲んで新鮮な牛乳を飲むことを忘れないでください。次に、ロケットの飛行中に体が加熱されないようにするために最善を尽くしてください。

レストランのキッチンで使用されることはたくさんあります。料理は料理人のコンポーネントであり、特定の形または特定の方法で食べ物を提供します。他の種類の料理は、顧客またはゲストのニーズに応じて準備されています。フードサービス会社で使用されるさまざまな種類の食べ物もあります