ดาวน์โหลด XLnet gen - XLnet gen Source Source Download

XLnet gen

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

อัปเดต 30-01-2021

ที่เก็บนี้ถูกเก็บถาวร โปรดใช้ https://github.com/huggingface/transformers ซึ่งรองรับการสร้างภาษา xlnet ทั้งใน pytorch และ tensorflow

xlnet-gen

สร้างภาษาโดยใช้ XLNET นี่ไม่ใช่การดำเนินการอย่างเป็นทางการ ตัวอย่างจะรวมอยู่ในตอนท้ายของ readme นี้เช่นเดียวกับในโฟลเดอร์ samples

บทความกลางเป็นบทสรุปของความพยายามนี้: https://medium.com/@amanrusia/xlnet-speaks-comparison-to-gpt-2-ea1a4e9ba39e

สมุดบันทึก colab ที่คุณสามารถให้พรอมต์: https://colab.research.google.com/drive/12u-cmb9evmiasnoqjtdw26gmnvsgepbv

การใช้งาน

ขั้นตอนที่ 1: ดาวน์โหลดและติดตั้งข้อกำหนด (เปลี่ยน tensorflow เป็น tensorflow-gpu ใน chrevent.txt ถ้าจำเป็น)
```
 git clone https://github.com/rusiaaman/XLnet-gen.git && cd XLnet-gen
pip install -r requirements.txt
```
ขั้นตอนที่ 2: ดาวน์โหลดและคลายซิป Pretrained XLNet รุ่นจาก https://github.com/zihangdai/xlnet/
```
 wget https://storage.googleapis.com/xlnet/released_models/cased_L-24_H-1024_A-16.zip
unzip cased_L-24_H-1024_A-16.zip
```
ขั้นตอนที่ 3: รันในโหมดอินเทอร์แอคทีฟโดยใช้ --interactive ค่าสถานะแบบอินเทอร์แอคทีฟหรือส่งผ่านไฟล์อินพุตโดยใช้อาร์กิวเมนต์ --input_file ตามที่อธิบายไว้ในภายหลัง ใช้ --unconditional สำหรับการสร้างข้อความโดยไม่มีข้อความที่มีเงื่อนไขใด ๆ
```
 python language_generation.py
     --model_config_path=xlnet_cased_L-24_H-1024_A-16/xlnet_config.json
     --init_checkpoint=xlnet_cased_L-24_H-1024_A-16/xlnet_model.ckpt
     --spiece_model_file=xlnet_cased_L-24_H-1024_A-16/spiece.model
     --interactive
     --max_mem_length=256
     --num_toks_pred=256
     --num_samples=1
     --top_p=0.9
     --bidirectional_eachstep
```

บันทึกสำคัญ

วิธีการ

XLNET เป็นรูปแบบภาษาที่ใช้การเปลี่ยนแปลงใหม่ ในการใช้งาน XLNET-GEN ปัจจุบันเราสร้างข้อความจากซ้ายไปขวา

XLNet ได้รับการฝึกฝนโดยใช้ num_predict=85 ซึ่งหมายถึง 85 โทเค็นจาก 512 ในตัวอย่างเดียวจะถูกคาดการณ์ในแต่ละครั้ง ที่สำคัญกว่าที่เหลือของโทเค็น 512-85 = 427 สามารถเข้าร่วมซึ่งกันและกันในกลไกความสนใจ (ความสนใจแบบสองด้าน) สิ่งนี้สร้างปัญหาเกี่ยวกับกลไกความสนใจเชิงสาเหตุตามปกติในระหว่างการสร้างภาษา ปัญหาดังต่อไปนี้ต้องเผชิญ:

การใช้บริบทขนาดเล็กนำไปสู่การทำนายที่พูดพล่อยๆ ขณะนี้ข้อความสุ่มรหัสฮาร์ดถูกรวมอยู่ในข้อความชั้นนำตามด้วย <eod> ซึ่งเป็นโทเค็นเอกสารจบพร้อมกับบริบทที่ต้องการ ซึ่งจะช่วยด้วยพรอมต์เล็ก ๆ
เนื่องจากลักษณะของการเตรียมการบริบทโทเค็นเข้าร่วมกันในแบบสองทิศทาง และบริบทนั้นแพร่กระจายไปทั่วอินพุตของโมเดล ด้วยเหตุนี้โทเค็นที่สร้างขึ้นจากซ้ายไปขวาด้วยวิธีเชิงสาเหตุนำไปสู่การส่งออกที่ไม่ดี การคำนวณสถานะที่ซ่อนอยู่ในแต่ละขั้นตอนช่วยให้เราได้รับความสนใจแบบสองทิศทางสำหรับโทเค็นใหม่ที่สร้างขึ้นใหม่ซึ่งปรับปรุงการผลิตอย่างมีนัยสำคัญ หากต้องการใช้งานเดียวกัน -ธง --bidirectional_eachstep

คำอธิบายของธง (เฉพาะกับ xlnet-gen)

--max_mem_length ความยาวลำดับสูงสุดลำดับสูงสุดของลำดับสูงสุดที่ใช้สำหรับการทำนาย หมายเหตุ: จำนวนโทเค็นที่คาดการณ์อาจมากกว่านี้ แต่บริบทจะถูกตัดทอนในตอนแรก สำหรับ --autoregressive กรณี Autoregressive นี่จะกำหนดขนาดของ 'หน่วยความจำ'
--num_toks_pred จำนวนโทเค็นที่จะทำนาย สิ่งนี้อาจมีขนาดใหญ่เท่าที่เราต้องการอย่างไรก็ตามบริบทจะถูกตัดทอนถ้านานกว่า max_mem_length สำหรับกรณีเริ่มต้น
--num_samples สำหรับแต่ละแจ้งจำนวนตัวอย่างที่จะสร้าง
--interactive อินพุตพรอมต์บรรทัดคำสั่งแบบอินเทอร์แอคทีฟ
-พา ธ --input_file ไปยังไฟล์ที่ใช้สำหรับพรอมต์แบบมีเงื่อนไข พรอมต์จะถูกแยกออกจากเส้นเปล่า เอาต์พุตถูกสร้างขึ้นในตำแหน่งเดียวกันในไฟล์ใหม่ที่มีชื่อไฟล์เดียวกันต่อท้ายด้วย ".xlnet"
--top_p top_p paramter สำหรับการสุ่มตัวอย่างนิวเคลียส ตั้งค่านี้ 0 หากคุณต้องการใช้กระบวนการสุ่มตัวอย่าง top_k
--top_k พารามิเตอร์ top_k top_k สำหรับการสุ่มตัวอย่าง top_k เฉพาะโทเค็นที่น่าจะเป็น TOP_K เท่านั้นที่ได้รับการพิจารณาสำหรับการสุ่มตัวอย่าง ตั้งค่า top_p=0 หากคุณต้องการใช้สิ่งนี้
--unconditional เงื่อนไขสร้างตัวอย่างที่ไม่มีเงื่อนไข ละเว้น -แฟล็ก --interactive และ --input_file
--bidirectional_eachstep นำไปสู่การส่งออกที่ดีกว่ามากโดยค่าใช้จ่ายในการคำนวณ คำอธิบายในวิธีการ

แผนการสุ่มตัวอย่าง

การสุ่มตัวอย่าง top-k: ใช้-ธง --top_k , ตรวจสอบให้แน่ใจ --top_p=0
การสุ่มตัวอย่างนิวเคลียส: ใช้ -ธง --top_p
การสุ่มตัวอย่าง

หมายเหตุเกี่ยวกับคุณภาพของตัวอย่าง

มีความแตกต่างอย่างมากในด้านคุณภาพที่มีและไม่มีธง bidirectional_eachstep ซึ่งเปิดการคำนวณการคำนวณสถานะที่ซ่อนอยู่อีกครั้งด้วยความสนใจแบบสองทิศทางทุกครั้งที่มีการสร้างโทเค็นใหม่ นี่อาจเป็นเพราะวิธีการที่ XLNet ได้รับการฝึกฝน-ด้วยหน้ากากกระจัดกระจายและบริบทแบบสองชั้น อย่างไรก็ตามขณะนี้ฉันกำลังตรวจสอบปัญหานี้และนี่อาจเป็นพื้นที่ของการปรับปรุงสำหรับ XLNET
การสร้างสิ่งประดิษฐ์เช่นคำพูดที่ว่างเปล่า "" , " " , ยัติภังค์หลาย --- , และการรวมกันของพวกเขา ""-" ทั้งหมดสามารถนำมาประกอบกับข้อมูลการฝึกอบรมที่ไม่ดี โดยเฉพาะดูเหมือนว่าจะมีข้อบกพร่องใน https://github.com/attardi/wikiextractor
Wikipedia มีจุดไข่ปลามากมายในบทความที่สะท้อนให้เห็นในรุ่น การถ่ายโอนข้อมูล wiki มีอยู่ในรูปแบบที่มีและไม่มีช่องว่าง: ทั้ง . . . , และ ... .
XLNET สามารถทำนายได้เฉพาะตอนท้ายของวรรคและสิ้นสุดของเอกสาร แต่ไม่ใช่อักขระหรือแท็บบรรทัดใหม่เท่านั้นดังนั้นจึงไม่ได้สร้างโครงสร้างที่ดีของเอกสาร
คำศัพท์ถูก จำกัด ให้เป็นภาษาอังกฤษและไม่ใช่ตัวละคร Unicode ทั้งหมดที่อยู่ในคำศัพท์ ไม่สามารถสร้างตัวละครภาษาอื่น ๆ และอิโมจิได้

ตัวอย่าง

เราได้ฝึกฝนรูปแบบภาษาที่ไม่ได้รับการดูแลขนาดใหญ่ซึ่งสร้างย่อหน้าที่สอดคล้องกันของข้อความบรรลุประสิทธิภาพที่ทันสมัยในการสร้างแบบจำลองภาษาหลายแบบและดำเนินการอ่านขั้นพื้นฐานการอ่านการแปลคำถามและ การวิเคราะห์ข้อความอัตโนมัติ จากการฝึกอบรมนี้เราได้พัฒนาเครื่องมือการแปลอัตโนมัติการแปลโปร ระบบของเราเป็นที่รู้จักกันในชื่อ Pro Translation Suite และได้รับการออกแบบมาสำหรับการแปลระหว่างข้อความเอกสารคอมพิวเตอร์และหน้าเว็บ เครื่องมือทั้งหมดในชุดการแปล Pro ให้ทั้งการแปลข้อความและ "เรียลไทม์" โปรแกรมนี้ยังมีอินเทอร์เฟซที่ใช้งานง่ายสำหรับการพัฒนาที่ผู้ใช้กำกับและปรับแต่งซอฟต์แวร์ Pro Translation Suite มีคุณสมบัติมากมายที่นำเสนองานการแปลใหม่และเป็นนวัตกรรม นอกจากนี้ Pro Translation Suite ยังให้การสนับสนุนที่ดีขึ้นสำหรับระบบการแปล "เรียลไทม์" เช่นการแปลสำหรับหน้าเว็บการแปลแบบจำลองภาษา "เรียลไทม์" และการแปลของเครื่อง

ขณะนี้เรามีหุ่นยนต์ที่ได้รับการปรับปรุงอย่างสูงในขั้นตอนการพัฒนาและการสนับสนุนสำหรับหุ่นยนต์นี้กำลังเพิ่มขึ้นเพื่อรวมเครื่องมือแปลจริง (อาจ) แบบเรียลไทม์ "The Trans-to-Trans" หุ่นยนต์ trans-to-trans ได้รับการปรับให้เหมาะสมที่สุดและ (และบางที) อาจกลายเป็นเอ็นจิ้นการแปลแบบเรียลไทม์ "Trans-to-Trans" ในฐานะหนึ่งในเป้าหมายหลักของเราเราจะทดสอบหุ่นยนต์นี้กับมาตรฐานการแปลแบบเรียลไทม์และมาตรฐาน นอกจากนี้หุ่นยนต์นี้ได้เปิดเผยต่อสาธารณะเพื่อประเมินและใช้งานโดยไม่เสียค่าใช้จ่ายต่อสาธารณะ

หุ่นยนต์ trans-to-trans ถูกสร้างขึ้นเพื่อตอบสนองความต้องการการแปล "เรียลไทม์" (ซึ่งเป็นข้อกำหนดของวิธีการแปลภาษาอังกฤษ) ซึ่งเป็นภาษาที่การแปลหุ่นยนต์อื่น ๆ ทั้งหมดจะถูกแปลง มันได้รับการออกแบบมาสำหรับการแปลภาษาทรานส์ภาษาเช่นการแปลระหว่างภาษาอังกฤษและภาษายอดนิยมอื่น ๆ เราคาดว่าจะใช้หุ่นยนต์นี้เพื่อทำการแปลดังกล่าวในอนาคตและได้ทำงานกับเครื่องมือแปลซึ่งเราจะเปิดตัวใกล้สิ้นปี หุ่นยนต์ trans-to-trans ได้รับการปรับให้เหมาะสมเพื่อตอบสนองความต้องการการแปล "เรียลไทม์" นี่เป็นข้อกำหนดของวิธีการแปลภาษาอังกฤษ เราได้ทำงานเกี่ยวกับเครื่องมือการแปลซึ่งจะวางจำหน่ายใกล้สิ้นปี เราได้ทำงานเกี่ยวกับเครื่องมือการแปลซึ่งจะวางจำหน่ายใกล้สิ้นปี

ก่อนขึ้นจรวดของคุณไปยังดาวอังคารอย่าลืมเก็บสิ่งของเหล่านี้ ก่อนอื่นคุณต้องแพ็คเคสจรวดหรือบูสเตอร์สำหรับจรวดของคุณ Launcher เป็นผลิตภัณฑ์พิเศษที่พัฒนาโดย World Space Program ซึ่งเป็นหน่วยงานรัฐบาลของสหรัฐอเมริกา เมื่อคุณได้รับตัวเรียกใช้จรวดจะถูกสร้างขึ้นเพื่อคุณ และจะใช้เวลาเพียง 3 วัน! อีกรายการสำคัญที่คุณควรบรรจุคือเครื่องยนต์จรวด เครื่องยนต์จรวดเป็นส่วนประกอบของจรวดที่ทำจากสองส่วน เครื่องยนต์ประกอบด้วยห้อง "แกน" สองห้อง ห้องหลักสร้างขึ้นจากวัสดุเซรามิก ห้องที่สองทำจากสแตนเลส แกนกลางที่เป็นของแข็งของห้องที่สองเรียกว่า "หลุมไฟ" ทำจากคาร์บอนไฟเบอร์ "หลุมไฟ" ถูกปิดผนึกด้วยพลาสติกซีลบนแล้วใส่ลงในกล่องกลวงหรือ "สปาร์เคส" กรณีสปาร์มีส่วนประกอบอื่น ๆ ทั้งหมดเช่นเครื่องยนต์และส่วนประกอบภายในกรณีสปาร์จะถูกรวมเข้าด้วยกันที่ไซต์เปิดตัว ในขณะที่รอจรวดที่จะประกอบคุณสามารถพักผ่อนและดื่มนมหรือน้ำของคุณ ที่ไซต์เปิดตัวคุณจะได้รับเครื่องมือหรือขอบเขตและชี้นำด้วยขอบเขต ภารกิจคือการเปิดตัวจรวด จรวดจะออกจากไซต์เปิดตัว จรวดจะเดินทางประมาณ 5.5 ชั่วโมง

เมื่อจรวดมาถึงคุณจะได้รับหมวกกันน็อกแล้วจรวดจะเปิดตัว ในขณะที่คุณกำลังยกออกให้เปิดตาและพยายามติดตาม เป็นสิ่งสำคัญที่คุณจะต้องเปิดกว้างและมุ่งเน้นไปที่ภารกิจ หากคุณสามารถทำสิ่งนี้ได้คุณจะสามารถบินได้อย่างปลอดภัย นอกจากนี้อย่าลืมดื่มน้ำและดื่มนมสด จากนั้นพยายามอย่างเต็มที่เพื่อป้องกันไม่ให้ร่างกายของคุณร้อนแรงในขณะที่บินจรวด

มีหลายสิ่งหลายอย่างที่ใช้ในครัวร้านอาหาร จานเป็นส่วนประกอบของการปรุงอาหารและให้บริการอาหารในรูปแบบเฉพาะหรือวิธีที่แน่นอน อาหารประเภทอื่น ๆ จัดทำขึ้นตามความต้องการของลูกค้าหรือแขก นอกจากนี้ยังมีอาหารประเภทต่าง ๆ ที่ใช้ใน บริษัท บริการอาหาร