Deep Generative Models for Natural Language Processing
1.0.0
DGMS 4 NLP แบบจำลองการกำเนิดที่ลึกสำหรับการประมวลผลภาษาธรรมชาติ แผนงาน
Yao Fu, มหาวิทยาลัยเอดินเบิร์ก, [email protected]
** อัปเดต **: GPT ได้รับความสามารถอย่างไร? ติดตามความสามารถฉุกเฉินของแบบจำลองภาษาไปยังแหล่งที่มาของพวกเขา
** อัปเดต **: ดูที่ความสามารถในการใช้ภาษาแบบจำลองความสามารถฉุกเฉินอย่างใกล้ชิดยิ่งขึ้น
** อัปเดต **: รุ่น languge ขนาดใหญ่
** อัปเดต **: การพึ่งพาระยะยาว; ทำไม S4 ถึงดีในลำดับยาว: จดจำลำดับด้วยการประมาณฟังก์ชั่นออนไลน์
** TODO 1 **: การสอบเทียบ; การแจ้งเตือน; หม้อแปลงไฟฟ้าระยะยาว โมเดลพื้นที่ของรัฐ
** TODO 2 **: การแยกตัวประกอบเมทริกซ์และการฝังคำ เมล็ด; กระบวนการเกาส์
** TODO 3 **: ความสัมพันธ์ระหว่างการอนุมานกับ RL;
(เขียนเมื่อต้นปี 2562 มีต้นกำเนิดมาจากการสัมมนา DGM ที่โคลัมเบีย)
ทำไมเราถึงต้องการแบบจำลองที่ลึกล้ำ? เพราะเราต้องการเรียนรู้ปัจจัยพื้นฐานที่สร้างภาษา ภาษาของมนุษย์มีปัจจัยแฝงที่อุดมไปด้วยความต่อเนื่องอาจเป็นอารมณ์ความตั้งใจและอื่น ๆ ปัจจัยที่ไม่ต่อเนื่อง/ โครงสร้างอาจเป็นแท็ก pos/ ner หรือต้นไวยากรณ์ หลายคนแฝงอยู่ในกรณีส่วนใหญ่เราเพิ่งสังเกตประโยค พวกเขายังเกิดขึ้น: มนุษย์ควรผลิตภาษาตามแนวคิดโดยรวมอารมณ์ปัจจุบันไวยากรณ์และสิ่งอื่น ๆ ทั้งหมดที่เราสามารถหรือไม่สามารถตั้งชื่อได้
วิธีการสร้างแบบจำลองกระบวนการกำเนิดของภาษาด้วยวิธีการทางสถิติ? เราสามารถมีกรอบความยืดหยุ่นที่ช่วยให้เราสามารถรวมสัญญาณการกำกับดูแลที่ชัดเจนเมื่อเรามีป้ายกำกับหรือเพิ่มการกำกับดูแลที่ห่างไกลหรือข้อ จำกัด เชิงตรรกะ/ สถิติเมื่อเราไม่มีฉลาก แต่มีความรู้ก่อนหน้านี้ เป็นไปได้ไหมที่เราใช้ประโยชน์จากพลังการสร้างแบบจำลองของสถาปัตยกรรมระบบประสาทขั้นสูงในขณะที่ยังคงเป็นคณิตศาสตร์และความน่าจะเป็นอยู่? DGMS ช่วยให้เราบรรลุเป้าหมายเหล่านี้
ให้เราเริ่มต้นการเดินทาง
การอ้างอิง:
@article{yao2019DGM4NLP,
title = "Deep Generative Models for Natual Language Processing",
author = "Yao Fu",
year = "2019",
url = "https://github.com/FranxYao/Deep-Generative-Models-for-Natural-Language-Processing"
}
วิธีการเขียนการอนุมานแปรปรวนและแบบจำลองการกำเนิดสำหรับ NLP: สูตร นี่เป็นข้อเสนอแนะอย่างยิ่งสำหรับผู้เริ่มต้นที่เขียนเอกสารเกี่ยวกับ VAES สำหรับ NLP
การสอนเกี่ยวกับรูปแบบตัวแปรแฝงลึกของภาษาธรรมชาติ (ลิงก์), EMNLP 18
แบบจำลองโครงสร้างแฝงสำหรับ NLP ลิงค์การสอน ACL 2019
Columbia Stat 8201 - Deep Generative Models โดย John Cunningham
Stanford CS 236 - แบบจำลองการกำเนิดลึกโดย Stefano Ermon
U Toronto CS 2541 - การอนุมานที่แตกต่างกันและแบบจำลองการกำเนิด, CS 2547 การเรียนรู้โครงสร้างแฝงแบบไม่ต่อเนื่อง, CSC 2547 Fall 2019: การเรียนรู้ที่จะค้นหา โดย David Duvenaud
U Toronto Sta 4273 Winter 2021 - ลดความคาดหวังให้น้อยที่สุด โดย Chris Maddison
Berkeley CS294-158 - การเรียนรู้ที่ไม่ได้รับการดูแลอย่างลึกซึ้ง โดย Pieter Abbeel
โคลัมเบีย STCS 8101 - การเรียนรู้การเป็นตัวแทน: มุมมองที่น่าจะเป็น โดย David Blei
Stanford CS324 - โมเดลภาษาขนาดใหญ่ โดย Percy Liang, Tatsunori Hashimoto และ Christopher Re
U Toronto CSC2541 - พลวัตการฝึกอบรมของระบบประสาท โดย Roger Grosse
การระดมทุนของ DGMs ถูกสร้างขึ้นตามแบบจำลองกราฟิกที่น่าจะเป็น ดังนั้นเราจึงดูแหล่งข้อมูลต่อไปนี้
หลักสูตรพื้นฐานของรูปแบบกราฟิกของ Blei, STAT 6701 ที่โคลัมเบีย (ลิงก์)
โมเดลกราฟิกความน่าจะเป็นของ Xing, 10-708 ที่ CMU (ลิงก์)
การประมวลผลภาษาธรรมชาติของ Collins, COMS 4995 ที่โคลัมเบีย (ลิงก์)
การจดจำรูปแบบและการเรียนรู้ของเครื่อง Christopher M. Bishop 2549
การเรียนรู้ของเครื่อง: มุมมองที่น่าจะเป็น Kevin P. Murphy ปี 2555
แบบจำลองกราฟิกครอบครัวเอ็กซ์โปเนนเชียลและการอนุมานการแปรปรวน 2551
การทำนายโครงสร้างภาษาศาสตร์ ปี 2554
กระบวนการทางไวยากรณ์ ปี 2000
สร้างประโยคจากพื้นที่ต่อเนื่อง Conll 15
การอนุมานความแปรปรวนของระบบประสาทสำหรับการประมวลผลข้อความ ICML 16
การเรียนรู้เทมเพลตประสาทสำหรับการสร้างข้อความ EMNLP 2018
โมเดลที่ใช้พลังงานเหลือสำหรับการสร้างข้อความ ICLR 20
การเปลี่ยนแปลงของการถอดความด้วยถุงคำแฝง Neurips 2019
ห้องสมุดถอดรหัส Fairseq [GitHub]
การสร้างข้อความประสาทแบบควบคุม [lil'log]
การค้นหาลำแสงแรกที่ดีที่สุด Tacl 2020
กรณีที่อยากรู้อยากเห็นของการเสื่อมของข้อความประสาท ICLR 2020
การเปรียบเทียบวิธีการถอดรหัสที่หลากหลายจากแบบจำลองภาษาแบบมีเงื่อนไข ACL 2019
คานสุ่มและสถานที่ที่จะหาได้: เคล็ดลับ gumbel-top-k สำหรับการสุ่มตัวอย่างลำดับโดยไม่ต้องเปลี่ยน ICML 19
การค้นหาลำแสงปัวซองแบบมีเงื่อนไข EMNLP 2021
การถอดรหัสขนาดใหญ่สำหรับการสร้างข้อความโดยใช้ขัดแตะ 2021
การถอดรหัสที่ จำกัด คำศัพท์สำหรับการสร้างลำดับโดยใช้การค้นหาลำแสงกริด ACL 2017
การถอดรหัสคำ จำกัด อย่างรวดเร็วด้วยการจัดสรรลำแสงแบบไดนามิกสำหรับการแปลเครื่องประสาท NAACL 2018
ปรับปรุงการถอดรหัสที่มีข้อ จำกัด ของคำศัพท์สำหรับการแปลและการเขียนซ้ำแบบ monolingual NAACL 2019
สู่การถอดรหัสเป็นการเพิ่มประสิทธิภาพอย่างต่อเนื่องในการแปลเครื่องประสาท EMNLP 2017
การสร้างข้อความที่ไม่ได้รับการควบคุมแบบไล่ระดับสี EMNLP 2020
การสร้างข้อความที่ควบคุมเป็นการเพิ่มประสิทธิภาพอย่างต่อเนื่องโดยมีข้อ จำกัด หลายประการ 2021
การถอดรหัสระบบประสาท: (UN) การสร้างข้อความประสาทที่มีข้อ จำกัด ด้านตรรกะของภาคแสดง NAACL 2021
ระบบประสาท A*esque decoding: การสร้างข้อความที่ถูก จำกัด ด้วยฮิวริสติก Lookahead 2021
การถอดรหัสความเย็น: การสร้างข้อความแบบ จำกัด ด้วยพลังงานด้วย Langevin Dynamics 2022
หมายเหตุ: ฉันยังไม่ผ่านบทนี้อย่างเต็มที่โปรดให้คำแนะนำฉัน!
การแปลระบบประสาทที่ไม่ใช่ Autoregressive ICLR 2018
การแปลเครื่องประสาทที่ไม่ใช่ระบบประสาทอย่างเต็มที่: กลอุบายของการค้า
การถอดรหัสอย่างรวดเร็วในรุ่นลำดับโดยใช้ตัวแปรแฝงแบบไม่ต่อเนื่อง ICML 2021
การสร้างข้อความแบบเรียงซ้อนกับมาร์คอฟหม้อแปลง arxiv 20
หม้อแปลงจ้องสำหรับการแปลเครื่องประสาทที่ไม่ใช่ Autoregressive ACL 2021
TODO: เพิ่มเติมเกี่ยวกับเรื่องนี้
Prompt Papers, Thunlp (ลิงก์)
Ctrl: รูปแบบภาษาหม้อแปลงแบบมีเงื่อนไขสำหรับการสร้างที่ควบคุมได้ Arxiv 2019
แบบจำลองภาษาแบบเสียบและเล่น: วิธีง่ายๆในการสร้างข้อความที่ควบคุมได้
คบเพลิง-โครงสร้าง: ห้องสมุดการทำนายที่มีโครงสร้างลึก GitHub, กระดาษ, เอกสาร
บทนำสู่เขตข้อมูลแบบสุ่มแบบมีเงื่อนไข ปี 2555
อัลกอริทึมด้านในและข้างหลังกลับเป็นเพียง backprop 2559.
การเรียนรู้ด้วยการสูญเสียเฟนชเชล-เยือก JMLR 2019
เครือข่ายความสนใจที่มีโครงสร้าง ICLR 2017
การเขียนโปรแกรมแบบไดนามิกที่แตกต่างกันสำหรับการทำนายและความสนใจที่มีโครงสร้าง ICML 2018
ไวยากรณ์เครือข่ายประสาทกำเริบ NAACL 16
ไวยากรณ์เครือข่ายประสาทที่ไม่ได้รับการดูแลโดยไม่ได้รับการดูแล, NAACL 19
การก่อกวนและ parse ที่แตกต่างกัน: การแยกวิเคราะห์กึ่งผู้ดูแลด้วยตัวแปร Autoencoder ที่มีโครงสร้าง, ICLR 19
กระบวนการทางไวยากรณ์ 2020
ความตั้งใจในตนเองที่ได้รับข้อมูลทางภาษาสำหรับการติดฉลากบทบาทความหมาย EMNLP 2018 รางวัล Best Paper
การแยกวิเคราะห์ความหมายด้วยระบบ Autoencoders ตามลำดับกึ่ง ปี 2559
การจัดองค์ประกอบทั่วไปใน NLP รายการกระดาษ
การวางนัยทั่วไปโดยไม่มีระบบ: ในทักษะการเรียงลำดับของเครือข่ายลำดับต่อลำดับ ICML 2019
การปรับปรุงวิธีการประเมินผลข้อความถึง SQL ACL 2018
การอนุมานความน่าจะเป็นโดยใช้วิธีมาร์คอฟโซ่มอนติคาร์โล 2536
องค์ประกอบของ Monte Carlo ต่อเนื่อง (ลิงก์)
แนวคิดเบื้องต้นเกี่ยวกับ Hamiltonian Monte Carlo (ลิงก์)
การสุ่มตัวอย่างผู้สมัคร (ลิงก์)
การประมาณค่าเสียงรบกวน: หลักการประมาณค่าใหม่สำหรับแบบจำลองทางสถิติที่ไม่เป็นปกติ Aistata 2010
การสุ่มตัวอย่าง* รางวัล NIPS 2014 Best Paper Award
Cambridge Variational Inference Reading Group (ลิงก์)
การอนุมาน Variational: การทบทวนนักสถิติ
การอนุมานการแปรปรวนแบบสุ่ม
การอนุมานแบบเบย์ Variational กับการค้นหาแบบสุ่ม ICML 12
การเข้ารหัสอัตโนมัติ Bayes, ICLR 14
Beta-vae: การเรียนรู้แนวคิดภาพพื้นฐานด้วยกรอบการแปรปรวนแบบ จำกัด ICLR 2017
ความสำคัญ Autoencoders ถ่วงน้ำหนัก ICLR 2015
backpropagation สุ่มและการอนุมานโดยประมาณในแบบจำลองการกำเนิดลึก ICML 14
Autoencoders แบบกึ่ง amortized, ICML 18
AutoEncoders Autoencoders ที่ได้รับการรักษาอย่างสม่ำเสมอ, ICML 18
เพิ่มเติมเกี่ยวกับ reparameterization: เพื่อ reparameterize ส่วนผสมแบบเกาส์เมทริกซ์การเปลี่ยนแปลงและตัวอย่างการปฏิเสธ (แกมม่าและ dirichlet)
stochastic backpropagation ผ่านการแจกแจงความหนาแน่นของส่วนผสม, arxiv 16
การไล่ระดับสีใหม่ผ่านอัลกอริทึมการสุ่มตัวอย่างการตอบรับการยอมรับ AISTATS 2017
การไล่ระดับสี reparameterization โดยนัย Neurips 2018
การจัดหมวดหมู่ reparameterization ด้วย Gumbel-Softmax ICLR 2017
การกระจายคอนกรีต: การผ่อนคลายอย่างต่อเนื่องของตัวแปรสุ่มแบบไม่ต่อเนื่อง ICLR 2017
การเปลี่ยนรูปแบบ Gaussian กลับหัวกลับ: ทบทวน Gumbel-Softmax 2020
การสุ่มตัวอย่างชุดย่อย reparameterizable ผ่านการผ่อนคลายอย่างต่อเนื่อง ijcai 2019
เครือข่ายฝ่ายตรงข้ามกำเนิด, NIPS 14
สู่วิธีการหลักการสำหรับการฝึกอบรมเครือข่ายที่เกิดจากการกำเนิด ICLR 2017
Wasserstein Gan
Infogan: การเรียนรู้การเป็นตัวแทนที่ตีความได้โดยการเพิ่มข้อมูลสูงสุดของตาข่าย NIPS 2016
การอนุมานที่ได้เรียนรู้อย่างต่อเนื่อง ICLR 2017
แบบจำลองการกำเนิดที่ลึกจากการไหลจากบันทึกของ Lil
การอนุมานการแปรปรวนกับกระแสการทำให้เป็นมาตรฐาน ICML 15
เรียนรู้เกี่ยวกับภาษาด้วยการไหลเวียนเป็นปกติ
ปรับปรุงการอนุมานการแปรปรวนด้วยการไหลแบบอัตโนมัติแบบผกผัน
การประมาณความหนาแน่นโดยใช้ NVP จริง iclr 17
การเรียนรู้ที่ไม่ได้รับการดูแลของโครงสร้างวากยสัมพันธ์ที่มีการคาดการณ์ของระบบประสาทแบบกลับด้าน EMNLP 2018
การไหลเวียนของการทำงานเป็นมาตรฐานแฝงสำหรับลำดับที่ไม่ต่อเนื่อง ICML 2019
การไหลแบบไม่ต่อเนื่อง: แบบจำลองการกำเนิดแบบไม่ต่อเนื่องของข้อมูลที่ไม่ต่อเนื่อง 2019
Flowseq: การสร้างลำดับเงื่อนไขที่ไม่ได้เป็นแบบอัตโนมัติพร้อมการไหลแบบกำเนิด EMNLP 2019
การแปลเครื่องประสาทแบบแปรผันด้วยการไหลของการไหลเป็นมาตรฐาน ACL 2020
ในประโยคฝังตัวจากแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อน EMNLP 2020
FY: จำเป็นต้องดูว่าโมเดลการกำเนิดและการแพร่กระจายที่ใช้คะแนนสามารถใช้สำหรับลำดับที่ไม่ต่อเนื่องได้อย่างไร
การสร้างแบบจำลองการกำเนิดโดยการประเมินการไล่ระดับสีของการกระจายข้อมูล บล็อก 2021
เอกสารการสร้างแบบจำลองการกำเนิดตามคะแนน
การสร้างแบบจำลองการกำเนิดโดยการประเมินการไล่ระดับสีของการกระจายข้อมูล Neurips 2019
โมเดลการแพร่กระจายคืออะไร? 2021
โมเดลที่ยอดเยี่ยม
การเรียนรู้ที่ไม่ได้รับการดูแลอย่างลึกล้ำโดยใช้อุณหพลศาสตร์ที่ไม่มีควิลิเบียม ปี 2558
แบบจำลองความน่าจะเป็นของการแพร่กระจาย Neurips 2020
การไหลของ Argmax และการแพร่กระจายแบบพหุภาคี: การเรียนรู้การแจกแจงแบบหมวดหมู่ Neurips 2021
แบบจำลองการแพร่กระจาย denoising ที่มีโครงสร้างในพื้นที่สถานะที่ไม่ต่อเนื่อง Neurips 2021
โมเดลการแพร่กระจายแบบอัตโนมัติ ICLR 2022
การแพร่กระจาย LM ปรับปรุงการสร้างข้อความที่ควบคุมได้ 2022
แบบจำลองการแพร่กระจายข้อความไปยังภาพด้วยแสงที่มีความเข้าใจภาษาลึก 2022
เซลล์ประสาทที่ได้รับคำสั่ง: การบูรณาการต้นไม้ที่มีโครงสร้างเข้ากับเครือข่ายประสาทกำเริบ
RNNs สามารถสร้างภาษาลำดับชั้นที่มีขอบเขตด้วยหน่วยความจำที่ดีที่สุด
การวิเคราะห์ความตั้งใจของตนเองหลายหัว: หัวพิเศษทำการยกหนักส่วนที่เหลือสามารถตัดแต่งได้ ACL 2019
ข้อ จำกัด ทางทฤษฎีของการดูแลตนเองในแบบจำลองลำดับประสาท Tacl 2019
ทบทวนความสนใจกับนักแสดง 2020
thunlp: รายการกระดาษแบบจำลองที่ผ่านการฝึกอบรมมาก่อน (ลิงก์)
เอกสารที่เกี่ยวข้องกับ Bert ของ Tomohide Shibata
ฮิปโป: หน่วยความจำกำเริบพร้อมการคาดการณ์พหุนามที่ดีที่สุด Neurips 2020
การรวมโมเดลที่เกิดขึ้นอีกครั้ง convolutional และต่อเนื่องเข้ากับชั้นพื้นที่สถานะเชิงเส้น Neurips 2021
การสร้างแบบจำลองลำดับยาวด้วยพื้นที่สถานะที่มีโครงสร้าง ICLR 2022
ทำไม S4 จึงดีในลำดับที่ยาวนาน: จดจำลำดับด้วยการประมาณฟังก์ชั่นออนไลน์ 2022
GPT3 (175b) แบบจำลองภาษาเป็นผู้เรียนไม่กี่คน พฤษภาคม 2563
Megatron-Turing NLG (530B) การใช้ Deepspeed และ Megatron เพื่อฝึกอบรม Megatron-Turing NLG 530B ซึ่งเป็นรูปแบบภาษาที่มีขนาดใหญ่ ม.ค. 2022
Lamda (137b) Lamda: โมเดลภาษาสำหรับแอปพลิเคชันโต้ตอบ ม.ค. 2022
โกเฟอร์ (280b) การปรับขนาดแบบจำลองภาษา: วิธีการวิเคราะห์และข้อมูลเชิงลึกจากการฝึกอบรม Gopher ธ.ค. 2021
Chinchilla (70b) การฝึกอบรมแบบจำลองภาษาขนาดใหญ่ที่ดีที่สุด มี.ค. 2022
ปาล์ม (540B) Palm: การปรับขนาดภาษาแบบปรับขนาดด้วยเส้นทาง เม.ย. 2022
opt (175b) OPT: เปิดโมเดลภาษาหม้อแปลงที่ผ่านการฝึกอบรมล่วงหน้า พฤษภาคม 2022
Bloom (176b): Bigscience Open Science Open-Science Open-Access ภาษาหลายภาษาหลายภาษา พฤษภาคม 2022
BlenderBot 3 (175B): ตัวแทนการสนทนาที่ปรับใช้ซึ่งเรียนรู้อย่างต่อเนื่องเพื่อมีส่วนร่วมอย่างมีความรับผิดชอบ ส.ค. 2022
การปรับขนาดกฎหมายสำหรับแบบจำลองภาษาประสาท 2020
ความสามารถฉุกเฉินของแบบจำลองภาษาขนาดใหญ่ 2022
ลดความคาดหวัง Chris Maddison
การประเมินการไล่ระดับสีของ Monte Carlo ในการเรียนรู้ของเครื่องจักร
การอนุมานแบบแปรปรวนสำหรับวัตถุประสงค์ของ Monte Carlo ICML 16
เหล็กเส้น: การประเมินการไล่ระดับสีที่ไม่เอนเอียงต่ำสำหรับแบบจำลองตัวแปรแฝงแบบไม่ต่อเนื่อง NIPS 17
backpropagation ผ่านช่องว่าง: การเพิ่มประสิทธิภาพการควบคุมตัวแปรสำหรับการประเมินการไล่ระดับสีดำ ICLR 18
backpropagating ผ่าน argmax ที่มีโครงสร้างโดยใช้ Spigot ACL 2018 Paper Honerable กล่าวถึงรางวัลที่ดีที่สุด
การทำความเข้าใจกลไกของ Spigot: การไล่ระดับสีแทนสำหรับการเรียนรู้โครงสร้างแฝง EMNLP 2020
การเรียนรู้ด้วยการปรับให้เหมาะสมที่แตกต่างกัน Neurips 2020
การประเมินการไล่ระดับสีด้วยเทคนิคสุ่ม Softmax Neurips 2020
การเขียนโปรแกรมแบบไดนามิกที่แตกต่างกันสำหรับการทำนายและความสนใจที่มีโครงสร้าง ICML 18
การเพิ่มประสิทธิภาพแบบสุ่มของเครือข่ายการเรียงลำดับผ่านการผ่อนคลายอย่างต่อเนื่อง
อันดับและการเรียงลำดับที่แตกต่างกันโดยใช้การขนส่งที่ดีที่สุด
reparameterizing birkhoff polytope สำหรับการกระจายการเปลี่ยนแปลงแบบแปรปรวน AISTATS 2018
กรอบการทำงานเป็นประจำสำหรับความสนใจของระบบประสาทที่กระจัดกระจายและมีโครงสร้าง Neurips 2017
Sparsemap: การอนุมานแบบเบาบางที่แตกต่างกัน ICML 2018
การรับรู้เอนทิตีที่มีชื่อซ้อนกันด้วย treecrfs ที่สังเกตได้บางส่วน Aaai 2021
Rao-Blackwellized Stochastic Groadients สำหรับการแจกแจงแบบไม่ต่อเนื่อง ICML 2019
การทำให้เป็นชายขอบที่มีประสิทธิภาพของตัวแปรแฝงที่ไม่ต่อเนื่องและมีโครงสร้างผ่าน sparsity Neurips 2020
การทำให้เป็นมาตรฐานหลังสำหรับแบบจำลองตัวแปรแฝงที่มีโครงสร้าง JMLR 2010
การควบคุมหลังการสร้างแบล็กบ็อกซ์ 2019
การเหนี่ยวนำไวยากรณ์การพึ่งพาด้วยตัวแยกวิเคราะห์การเปลี่ยนแปลงของระบบประสาท AAAI 2019
(เป็นภาษาจีน) 微分几何与拓扑学简明教程
มีเพียงเบย์เท่านั้นที่ควรเรียนรู้มากมาย (ในการประมาณโครงสร้างทางเรขาคณิตที่แตกต่างจากข้อมูล) Arxiv 2018
เรขาคณิต Riemannian ของแบบจำลองการกำเนิดลึก CVPRW 2018
รูปทรงเรขาคณิตของแบบจำลองภาพลึกและแอปพลิเคชัน ICLR 2021
ตัวชี้วัดสำหรับแบบจำลองการกำเนิดลึก AISTATS 2017
อัลกอริทึมลำดับแรกสำหรับการเพิ่มประสิทธิภาพขั้นต่ำสูงสุดในช่องว่างทางภูมิศาสตร์ 2022
คุณสมบัติแบบสุ่มสำหรับเครื่องเคอร์เนลขนาดใหญ่ Neurips 2007
การค้นหาโครงสร้างที่มีการสุ่ม: อัลกอริทึมความน่าจะเป็นสำหรับการสร้างการสลายตัวของเมทริกซ์โดยประมาณ สยาม 2554
การเพิ่มประสิทธิภาพที่มีประสิทธิภาพของลูปและขีด จำกัด ด้วยผลรวมของกล้องโทรทรรศน์แบบสุ่ม ICML 2019
การประมาณค่าอัตราส่วนความหนาแน่นของ Telescoping Neurips 2020
กระบวนการเกาส์ที่ปรับขนาดได้ไม่ได้ผ่านการตัดทอนแบบสุ่ม ICML 2021
ความแตกต่างอัตโนมัติแบบสุ่ม ICLR 2021
การปรับขนาดการอนุมานด้วยการสุ่ม 2021
องค์ประกอบของทฤษฎีข้อมูล ปกและโทมัส 2534
ในขอบเขตการแปรปรวนของข้อมูลร่วมกัน ICML 2019
การเรียนรู้การเป็นตัวแทนอย่างลึกซึ้งโดยการประมาณข้อมูลร่วมกันและการเพิ่มจำนวนสูงสุด ICLR 2019
Mine: การประมาณค่าข้อมูลซึ่งกันและกัน
คอขวดข้อมูลตัวแปรลึก ICLR 2017
การระบุแบบจำลองส่วนผสมแบบเบย์
disentangling disentanglement ใน variational autoencoders ICML 2019
ข้อสันนิษฐานทั่วไปที่ท้าทายในการเรียนรู้ที่ไม่ได้รับการดูแลของการเป็นตัวแทนที่แยกออกจากกัน ICML 2019
การเกิดขึ้นของความแปรปรวนและความไม่ลงรอยกันในการเป็นตัวแทนอย่างลึกซึ้ง
การลดความเสี่ยงแบบคงที่
แก้ไข elbo ที่หัก ICML 2018
ขอบเขตการแปรปรวนที่เข้มงวดมากขึ้นไม่จำเป็นต้องดีกว่า ICML 2018
Bernoulli ต่อเนื่อง: แก้ไขข้อผิดพลาดที่แพร่หลายในตัวแปร autoencoders variational Neurips 2019
โมเดลกำเนิดที่ลึกล้ำรู้หรือไม่ว่าพวกเขาไม่รู้อะไรบ้าง? ICLR 2019
การประเมินแบบจำลองภาษาที่มีการกำเนิดลึกอย่างมีประสิทธิภาพ ACL 2020
Bayes ด้านหลังดีแค่ไหนในเครือข่ายประสาทลึกจริงๆ? ICML 2020
ทฤษฎีทางสถิติของ posteriors เย็นในเครือข่ายประสาทลึก ICLR 2021
ข้อ จำกัด ของโมเดลอัตโนมัติและทางเลือกของพวกเขา NAACL 2021
