XLnet gen下載XLnet gen源代碼下載

XLnet gen

Ai源碼

1.0.0

下載

更新30-01-2021

該存儲庫已存檔。請使用https://github.com/huggingface/transformers，支持XLNET語言生成Pytorch和TensorFlow

XLNET-GEN

使用XLNET生成語言。這不是官方實施。樣品在此讀取文件的末尾以及samples文件夾中都包含。

中文文章作為此項工作的摘要：https：//medium.com/@amanrusia/xlnet-speaks-comparison-comparison-to-gpt-2-a1a4e9ba39e

COLAB筆記本您可以在其中提供提示：https：//colab.research.google.com/drive/12u-cmb9evmiasnoqjtdw26gmnvsgepbv

用法

步驟1：下載和安裝要求（如果需要，請在需求中更改TensorFlow為TensorFlow-GPU。

 git clone https://github.com/rusiaaman/XLnet-gen.git && cd XLnet-gen
pip install -r requirements.txt

步驟2：從https://github.com/zihangdai/xlnet/下載並解開拉鍊驗證的XLNET模型

 wget https://storage.googleapis.com/xlnet/released_models/cased_L-24_H-1024_A-16.zip
unzip cased_L-24_H-1024_A-16.zip

步驟3：使用--interactive Flag以交互式模式運行，或使用--input_file參數傳遞輸入文件，如下所述。使用--unconditional無條件文本生成文本。

 python language_generation.py
     --model_config_path=xlnet_cased_L-24_H-1024_A-16/xlnet_config.json
     --init_checkpoint=xlnet_cased_L-24_H-1024_A-16/xlnet_model.ckpt
     --spiece_model_file=xlnet_cased_L-24_H-1024_A-16/spiece.model
     --interactive
     --max_mem_length=256
     --num_toks_pred=256
     --num_samples=1
     --top_p=0.9
     --bidirectional_eachstep

重要說明

方法論

XLNET是一種基於新穎的語言模型。在當前的XLNET-GEN實現中，我們從左到右生成文本。

使用num_predict=85對XLNET進行了訓練，這意味著一個示例中的512個令牌在一個示例中被預測。更重要的是，512-85 = 427代幣的其餘部分可以在註意機制（Bidrectional Coation）中相互參與。這會在語言生成期間帶來常規因果注意機制的問題。面臨以下問題：

小環境的使用會導致胡言亂語預測。當前，用硬編碼的隨機文本作為領先文本，然後是<eod> ，即文檔令牌的末尾以及所需的上下文。這有助於少量提示。
由於預處理的性質，上下文令牌以雙向方式互相參加。上下文分佈在模型的整個輸入中。由於這種產生的令牌以因果關係向右導致次優的輸出。重新計算隱藏狀態的每個步驟都使我們可以對每個新生成的代幣進行雙向關注，從而大大改善了生成。進行相同的用法--bidirectional_eachstep flag

標誌的說明（特定於XLNET-GEN）

--max_mem_length最大序列長度用於預測。注意：要預測的令牌數量可能大於此，但是上下文在開始時被截斷。對於--autoregressive情況，這設置了“內存”的大小。
--num_toks_pred代幣數量要預測。這可能是我們想要的，但是如果對於默認情況，則max_mem_length將截斷。
- 每個提示要生成的樣本數的--num_samples 。
--interactive命令行提示輸入。
--input_file路徑的文件，用於條件提示。提示被一個空線隔開。輸出是在新文件中的同一位置生成的，其中帶有“ .xlnet”的相同文件名。
--top_p TOP_P參數用於核採樣。如果要使用TOP_K採樣過程，請設置此0。
--top_k top_k參數top_k採樣。僅考慮TOP_K最可能的令牌用於採樣。設置top_p=0如果要使用此功能。
--unconditional生成無條件樣本。忽略--interactive和--input_file標誌。
--bidirectional_eachstep以計算為代價導致更好的輸出。方法論中的解釋。

抽樣方案

TOP-K採樣：使用--top_k標誌，確保--top_p=0
核採樣：使用--top_p標誌
置換抽樣

關於樣品質量的註釋

隨著有和沒有bidirectional_eachstep標誌的質量存在巨大差異，每當生成新的令牌時，它會以雙向關注重新計算隱藏狀態。這可能是由於XLNET鑑定的方式 - 稀疏面具和bidrectional上下文。但是，我目前正在調查此問題，這可能是XLNET的改進領域。
像空引號"" ， " " ，多個連字符的產物---以及""-"的組合都可以歸因於不良的培訓數據。具體來說，https://github.com/attardi/attardi/wikiextract中似乎有錯誤，這會導致空白的報價和其他圖書館。
Wikipedia的文章中有很多橢圓形，這在這一代人中反映了。 Wiki數據轉儲的形式有和沒有空間：兩者都有. . . ，和... 。
XLNET只能預測段落和文檔末尾的結尾，而不能預測新的行字符或選項卡，因此它不會生成文檔的良好結構
詞彙僅限於英語，並非所有Unicode字符都在詞彙中。無法生成其他語言字符和表情符號。

樣品

我們已經培訓了一種大規模的無監督語言模型，該模型生成了文本的連貫段落，在許多語言建模基準測試基准上實現最先進的性能，並在我們的實驗室中使用自動翻譯/文本分析（自動化計算機系統）進行基本閱讀理解，機器翻譯，問答和匯總任務（我們實驗室中）。通過這項培訓，我們開發了一種自動翻譯工具Pro Translation。我們的系統被稱為Pro Translation Suite，設計用於文本，計算機文檔和網頁之間的翻譯。 Pro Translation Suite中的所有工具都提供文本和“實時”翻譯。該程序還具有廣泛的用戶友好接口，用於用戶指導的軟件開發和自定義。 Pro Translation Suite具有許多功能，可提供新的創新翻譯任務。此外，Pro Translation Suite還提供了對“實時”翻譯系統的增強支持，例如網頁的翻譯，“實時”語言模型翻譯和機器翻譯。

目前，我們在開發階段擁有高度優化的機器人，目前對該機器人的支持正在增加，其中包括（可能）實時翻譯引擎“ Trans-To-Trans”。反式跨性別機器人已經進行了優化，優化，並且（也許）可能會成為實時翻譯引擎，即“反式跨性別”。作為我們的主要目標之一，我們還將根據實時翻譯標準和基準測試該機器人。此外，該機器人已公開可公開評估和使用，免費給公眾。

已構建了跨到跨性別機器人，以滿足“實時”翻譯要求（這是英語翻譯方法的要求），這是所有其他機器人翻譯都將轉換的語言。它是為跨語言翻譯而設計的，例如英語和其他流行語言之間的翻譯。我們希望將來使用該機器人進行這種翻譯，並一直在開發一種翻譯工具，我們將在年底在年底發布。 Trans-to-Trans機器人已進行了優化，以滿足“實時”翻譯要求。這是英語翻譯方法的要求。我們一直在研究翻譯工具，該工具將在年底附近發布。我們一直在研究翻譯工具，該工具將在年底附近發布。

在將火箭登機到火星之前，請記住打包這些物品。首先，您必須為火箭打包火箭盒或助推器。發射器是由世界太空計劃開發的特殊產品，該產品是美國政府機構。當您獲得發射器時，火箭將是向您建造的。這只需要3天！您應該打包的另一個重要物品是火箭發動機。火箭發動機是由兩部分製成的火箭的組成部分。發動機由兩個“核心”室組成。主腔室由陶瓷材料構成。第二個腔室由不銹鋼製成。第二個腔室的固體核心，稱為“火坑”，由碳纖維製成。 “火坑”用密封的塑料密封，然後放入空心盒中，或“ Spar Case”。然後將SPAR盒包含所有其他組件，例如發動機，然後將SPAR盒內部的組件組裝在發射場上。在等待火箭組裝時，您可以休息並喝牛奶或水。在發射場，將為您提供某種樂器或範圍，並在範圍內進行指導。任務是發射火箭。火箭將離開發射場。火箭將行駛約5.5小時。

火箭到達時，將為您戴頭盔，然後火箭發射。當您抬起頭來時，保持眼睛睜開，並嘗試保持正軌。重要的是要保持開放並專注於任務。如果您能夠做到這一點，那麼您將能夠安全起飛。另外，請記住喝水並喝新鮮的牛奶。然後，盡最大努力在火箭飛行中防止身體過熱。

餐廳廚房有很多東西可以使用。菜是廚師的一個組成部分，它以特定形式或某種方式提供食物。其他類型的菜餚是根據客戶或客人的需求準備的。食品服務公司也有不同類型的食物