LMaaS Papers

Modelo de idioma como servicio (LMAAS)

Esta es una lista curada de documentos de "modelo de idioma como servicio (LMAAS)", que es mantenida principalmente por Tianxiang Sun. Alentamos encarecidamente a los investigadores de la PNL que están interesados ​​en este tema a hacer una solicitud de extracción para agregar o actualizar los documentos (ver contribución). ¡Mira este repositorio para ver las últimas actualizaciones!

Actualizaciones

• 2022/7/7: Escribe un blog (en chino)
• 2022/7/4: crea esta lista de documentos

Contenido

• Introducción
  • Alcance
  • Ventajas
• Palabras clave
• Papeles
  • Mensaje de texto
  • Aprendizaje en contexto
  • Optimización de la caja negra
  • Aprendizaje basado en características
  • Generación de datos
• Que contribuye

Introducción

Debido a razones comerciales y costos de ajuste, los modelos de lenguaje grande (LLM) previamente entrenados (LLM) como GPT-3 generalmente se liberan como un servicio en lugar de los pesos del modelo de abastecimiento. Llamamos a este escenario " Language-Model-as-a-Service (LMAAS) " (el término se usa originalmente en nuestro documento ICML'2022). En tal escenario, los usuarios pueden acceder a los poderosos LLM a través de sus API de inferencia. El servicio de LLMS ha alimentado muchos casos de uso (ver Demo de GPT-3). A diferencia del ajuste fino, LMAAS permite que un solo LLM de propósito general cumpla con muchas tareas de diferencia y, por lo tanto, es altamente eficiente en el despliegue. Sin embargo, cómo adaptar las LLM a las tareas apuntar sin acceso a sus parámetros y gradientes es un desafío. Para hacer que los LLM se beneficien un público más amplio, recopilamos documentos que se ajustan a este escenario para facilitar la investigación futura.

Alcance

¿Qué documentos encajan en el escenario de Lmaas? Consideramos principalmente documentos que adaptan las LLM a las tareas aguas abajo sin acceder a los parámetros del modelo y los gradientes. Aunque LLMS ajustados también puede ser servicios después del despliegue, se limitan a resolver una sola tarea para una audiencia limitada. En nuestro alcance, preferimos servir modelos de propósito general para una variedad de usuarios.

En la literatura existente, hay varias líneas de investigación que encajan en LMAAS:

• Mensaje de texto . Al diseñar manual o automáticamente las indicaciones de texto específicas de la tarea, los usuarios pueden resolver la tarea objetivo de interés acondicionando LLMS congelados.
• Aprendizaje en contexto . Los usuarios pueden proporcionar algunos ejemplos en la entrada en el momento de la inferencia para ayudar a los LLM a adaptarse rápidamente a la tarea de destino.
• Optimización de la caja negra . Al ajustar una pequeña porción de parámetros (por ejemplo, aviso continuo) con solo el acceso de la probabilidad de salida de la LLM a través de la optimización de la caja negra, los usuarios pueden resolver tareas de destino con un pequeño conjunto de capacitación.
• Aprendizaje basado en características . LLMS puede servir como un extractor de características, en el cual los usuarios pueden construir algunos módulos específicos de tareas aprendibles para realizar clasificaciones o generación.
• Generación de datos . Los LLM generativos se pueden usar para generar un conjunto de datos de pares de texto etiquetados desde cero, que luego se usa para entrenar localmente un modelo mucho más pequeño.

El límite entre el aprendizaje de texto y en contexto del texto está un poco borrosa. En este repositorio, la categoría de inmediato del texto contiene documentos que no usan muestras etiquetadas, mientras que la categoría de aprendizaje en contexto se compone de documentos que incluyen muestras etiquetadas en las indicaciones.

Nota: Un tema relacionado (y parcialmente superpuesto) es el aprendizaje basado en el aviso , que tiene como objetivo resolver tareas aguas abajo utilizando LLM de propósito general al convertir la entrada y la salida con alguna plantilla y verbalizador, respectivamente. Sin embargo, la mayoría de los trabajos en el aprendizaje rápido requieren el acceso a los parámetros y gradientes del modelo y, por lo tanto, no encajan en nuestro alcance. Para los documentos de aprendizaje basados ​​en el aviso que no son adecuados para LMAA, recomendamos contribuir a otra lista de documentos impresionante: papel de puntaje.

Ventajas

En comparación con las LLM específicas de tareas de ajuste fino, LMAAS tiene las siguientes ventajas:

• Implementación eficiente . LMAAS implementa un único LLM de propósito general para cumplir varias tareas. La tarea de destino se puede realizar acondicionando el LLM con indicaciones específicas de la tarea, una pequeña porción de parámetros o características. No es necesario mantener una copia de todo el modelo para cada tarea.
• Ajuste-eficiente . Cuando hay un pequeño número de parámetros específicos de tareas que se deben ajustar (p. Ej., Optimización de la caja negra), la optimización puede ser altamente eficiente ya que no requiere retroceso, donde la complejidad del cálculo es proporcional al tamaño del modelo y, por lo tanto, puede ser caro o incluso inviable para LLM. Por el contrario, la complejidad de optimización en LMAAS es independiente del tamaño del modelo.
• Muestra-eficiente . Se ha demostrado que LLM puede lograr un rendimiento competitivo en una amplia gama de tareas con datos limitados o incluso cero etiquetados. La mayoría de los trabajos en LMAAS también se centran en la configuración de pocos disparos o cero disparos.

Palabras clave

La abreviatura del trabajo.

La característica clave del trabajo.

El principal entorno experimental de la obra.

Papeles

Mensaje de texto

1. ¿Modelos de idiomas como bases de conocimiento? EMNLP 2019

   Fabio Petroni, Tim Rocktäschel, Patrick Lewis, Anton Bakhtin, Yuxiang Wu, Alexander H. Miller, Sebastian Riedel . [PDF] [Código]

2. ¿Cómo podemos saber lo que saben los modelos de idiomas? TACL 2020

   Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig . [PDF] [Código]

3. Los modelos de idiomas son alumnos de pocos disparos. Neurips 2020

   Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, ADATRES Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei . [PDF]

4. Adaptando modelos de lenguaje para el aprendizaje de disparo cero mediante meta-ajuste en el conjunto de datos y colecciones de inmediato . Hallazgos de EMNLP 2021

   Ruiqi Zhong, Kristy Lee, Zheng Zhang, Dan Klein . [PDF] [Código]

5. Los modelos de idiomas finetos son alumnos de cero disparos . ICLR 2022

   Jason Wei, Maarten Bosma, Vincent Y. Zhao, Kelvin Guu, Adams Wei Yu, Brian Lester, Nan du, Andrew M. Dai, Quoc V. LE . [PDF] [Código]

6. La capacitación impulsada por múltiples tareas permite la generalización de tareas de disparo cero . ICLR 2022

   Victor Sanh, Albert Webson, Colin Raffel, Stephen H. Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Teven Le Scao, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala NEERAZJ, JOSHEEST , Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Tali Bers, Stella Biderman, Leo Gao, Thomas Wolf, Alexander M. Rush . [PDF] [Código]

7. Modelos de lenguaje de capacitación para seguir las instrucciones con comentarios humanos . Preimpresión 2022.3

   Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe . [PDF] [Código]

8. Los modelos de idiomas grandes son razonadores de cero disparos . Preimpresión 2022.6

   Takeshi Kojima, Shixiang Shane Gu, Machel Reid, Yutaka Matsuo, Yusuke Iwasawa . [PDF] [Código]

9. Pregunta de video de disparo cero a través de modelos de lenguaje bidireccional congelado . Preimpresión 2022.6

   Antoine Yang, Antoine Miech, Josef Sivic, Ivan Laptev, Cordelia Schmid . [PDF] [Código]

10. Los modelos de lenguaje son interfaces de uso general . Preimpresión 2022.6

    Yaru Hao, Haoyu Song, Li Dong, Shaohan Huang, Zewen Chi, Wenhui Wang, Shuming Ma, Furu Wei . [PDF] [Código]

11. Generación de solicitud a nivel de repositorio para grandes modelos de código de idioma. Preimpresión 2022.6

    Disha Shrivastava, Hugo Larochelle, Daniel Tarlow [PDF] [Código], 2022.6

12. Ignore el aviso anterior: técnicas de ataque para modelos de lenguaje. Mejor premio de papel @ Neurips ML Taller de seguridad 2022.

    Fábio Pérez, Ian Ribeiro [PDF] [Proyecto], 2022.11

Aprendizaje en contexto

1. Los modelos de idiomas son alumnos de pocos disparos. Neurips 2020

   Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, ADATRES Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei . [PDF]

2. Calibrar antes de su uso: Mejora del rendimiento de pocos disparos de los modelos de idiomas . ICML 2021

   Tony Z. Zhao, Eric Wallace, Shi Feng, Dan Klein, Sameer Singh . [PDF] [Código]

3. Una explicación del aprendizaje en contexto como inferencia bayesiana implícita . ICLR 2022

   Sang Michael Xie, Aditi Raghunathan, Percy Liang, Tengyu MA . [PDF] [Código]

4. La cadena de pensamiento provoca un razonamiento en modelos de idiomas grandes . Preimpresión 2022.1

   Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou . [PDF]

5. Generalización de la tarea cruzada a través de instrucciones de crowdsourcing del lenguaje natural . ACL 2022

   Swaroop Mishra, Daniel Khashabi, Chitta Baral, Hannaneh Hajishirzi . [PDF] [Código]

6. Solicitudes fantásticamente ordenadas y dónde encontrarlas: superar la sensibilidad de pedido de pocos disparos . ACL 2022

   Yao Lu, Max Bartolo, Alastair Moore, Sebastian Riede, Pontus Stenetorp . [PDF]

7. Modelo de lenguaje de canal ruidoso solicitar la clasificación de texto de pocos disparos . ACL 2022

   Sewon Min, Mike Lewis, Hannaneh Hajishirzi, Luke Zettlemoyer . [PDF] [Código]

8. Meta-aprendizaje a través del modelo de idioma sintonización en contexto . ACL 2022

   Yanda Chen, Ruiqi Zhong, Sheng Zha, George Karypis, He . [PDF] [Código]

9. ¿Qué hace buenos ejemplos en contexto para GPT-3? Deelio@ACL 2022

   Jiachang Liu, Dinghan Shen, Yizhe Zhang, Bill Dolan, Lawrence Carin, Weizhu Chen . [PDF]

10. Aprender a recuperar indicaciones para el aprendizaje en contexto . NAACL 2022

    Ohad Rubin, Jonathan Herzig, Jonathan Berant . [PDF] [Código]

11. Metaicl: Aprender a aprender en contexto . NAACL 2022

    Sewon Min, Mike Lewis, Luke Zettlemoyer, Hannaneh Hajishirzi . [PDF] [Código]

12. Mejora del aprendizaje de pocos disparos en contexto a través de la capacitación auto-supervisada . NAACL 2022

    Mingda Chen, Jingfei Du, Ramakanth Pasunuru, Todor Mihaylov, Srini Iyer, Veselin Stoyanov, Zornitsa Kozareva . [PDF]

13. Aprendizaje en contexto autogenerado: aprovechando los modelos de lenguaje autoregresivo como generador de demostración . LPLM@NAACL 2022

    Hyuhng Joon Kim, Hyunsoo Cho, Junyeob Kim, Taeuk Kim, Kang Min Yoo, Sang-Goo Lee . [PDF]

14. Repensar el papel de las demostraciones: ¿Qué hace que el aprendizaje en contexto funcione? Preimpresión 2022.2

    Sewon Min, Xinxi Lyu, Ari Holtzman, Mikel Artetxe, Mike Lewis, Hannaneh Hajishirzi, Luke Zettlemoyer . [PDF] [Código]

15. Aprendizaje en contexto para el seguimiento del estado de diálogo de pocos disparos. Preimpresión 2022.3

    Yushi Hu, Chia-Hsuan Lee, Tianbao Xie, Tao Yu, Noah A. Smith, Mari Ostendorf . [PDF] [Código]

16. La autoconsistencia mejora el razonamiento de la cadena de pensamiento en los modelos de idiomas . Preimpresión 2022.3

    Xuezhi Wang, Jason Wei, Dale Schuurmans, Quoc Le, Ed Chi, Denny Zhou . [PDF]

17. Estrella: razonador autodidacta del razonamiento de arranque con razonamiento . Preimpresión 2022.3

    Eric Zelikman, Yuhuai Wu, Noah D. Goodman . [PDF]

18. Generalización de evaluación comparativa a través de instrucciones en contexto en más de 1,600 tareas de lenguaje . Preimpresión 2022.4

    Yizhong Wang, Swaroop Mishra, Pegah Alipoormolabashi, Yeganeh Kordi, Amirreza Mirzaei, Anjana Arunkumar, Arjun Ashok, Arut Selvan Dhanasekaran, Atharva Naik, David Stap, Eshaan Pathak, Giannis Karamanolakis, Haizhi Gary Gary, Ishan Stap, Eshaan, eshaan Karamanolakis, Haizhi Gared Ishani Mondal, Jacob Anderson, Kirby Kuznia, Krima Doshi, Maitreya Patel, Kuntal Kumar Pal, Mehrad Moradshahi, Mihir Parmar, Mirali Purohit, Neeraj Varshney, Phani Rohitha Kaza, Pulkit Verma, Ravsehaj Singh Puri, Rushang Karia, Shailaja Keyur Sampat, Savan Doshi, Siddhartha Mishra, Sujan Reddy, Sumanta Patro, Tanay Dixit, Xudong Shen, Chitta Baral, Yejin Choi, Noah A. Smith, Hannaneh Hajishirzi, Daniel Khashabi . [PDF] [Código]

19. ¿Pueden los modelos de idiomas aprender de las explicaciones en contexto? . Preimpresión 2022.4

    Andrew K. Lampinen, Ishita Dasgupta, Stephanie Cy Chan, Kory Matthewson, Michael Henry Tessler, Antonia Creswell, James L. McClelland, Jane X. Wang, Felix Hill . [PDF]

20. Las etiquetas de verdad en tierra son importantes: una mirada más profunda a las demostraciones de etiqueta de entrada . Preimpresión 2022.5

    Junyeob Kim, Hyuhng Joon Kim, Hyunsoo Cho, Hwiyeol JO, Sang-Woo Lee, Sang-Goo Lee, Kang Min Yoo, Taeuk Kim . [PDF]

21. La falta de fiabilidad de las explicaciones en el aprendizaje de pocos disparos en contexto . Preimpresión 2022.5

    XI YE, Greg Durrett . [PDF]

22. La solicitud de menos a la mayoría permite un razonamiento complejo en modelos de idiomas grandes . Preimpresión 2022.5

    Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, Ed Chi . [PDF]

23. Información de Maieutic: razonamiento lógicamente consistente con explicaciones recursivas . Preimpresión 2022.5

    Jaehun Jung, Lianhui Qin, Sean Welleck, Feeze Brahman, Chandra Bhagavatula, Ronan Le Bras, Yejin Choi . [PDF]

24. Con el avance de hacer que los modelos de idiomas sean mejores razonadores . Preimpresión 2022.6

    Yifei Li, Zeqi Lin, Shizhuo Zhang, Qiang Fu, Bei Chen, Jian-Guang Lou, Weizhu Chen . [PDF] [Código]

25. Habilidades emergentes de modelos de idiomas grandes . Preimpresión 2022.6

    Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus . [PDF]

26. Los modelos de lenguaje son interfaces de uso general . Preimpresión 2022.6

    Yaru Hao, Haoyu Song, Li Dong, Shaohan Huang, Zewen Chi, Wenhui Wang, Shuming Ma, Furu Wei . [PDF] [Código]

27. ¿Qué pueden aprender los transformadores en contexto? Un estudio de caso de clases de funciones simples . Preimpresión 2022.8

    Shivam Garg, Dimitris Tsipras, Percy Liang, Gregory Valiant . [PDF] [Código]

28. Aprendiendo destilando el contexto . Preimpresión 2022.9

    Charlie Snell, Dan Klein, Ruiqi Zhong . [PDF]

29. Modelos de lenguaje vinculante en idiomas simbólicos . Preimpresión 2022.10

    Zhoujun Cheng*, Tianbao Xie*, Peng Shi, Chengzu Li, Rahul Nadkarni, Yushi Hu, Caiming Xiong, Dragomir Radev, Mari Ostendorf, Luke Zettleemoyer, Noah A. Smith, Tao Yu . [PDF] [Código] [Sitio web]

30. Preservar la capacidad de aprendizaje en contexto en el modelo de lenguaje grande ajustado . Preimpresión 2022.11

    Yihan Wang, Si SI, Daliang Li, Michal Lukasik, Felix Yu, Cho-Jui Hsieh, Inderjit S Dhillon, Sanjiv Kumar . [PDF]

31. Enseñanza de razonamiento algorítmico a través del aprendizaje en contexto . Preimpresión 2022.11

    Hattie Zhou, Azade Nova, Hugo Larochelle, Aaron Courville, Behnam Neyshabur, Hanie Sedghi . [PDF]

32. ¿Qué algoritmo de aprendizaje está aprendiendo en contexto? Investigaciones con modelos lineales . Preimpresión 2022.11

    Ekin Akyürek, Dale Schuurmans, Jacob Andreas, Tengyu MA, Denny Zhou . [PDF]

Optimización de la caja negra

1. Ajuste de la caja negra para el model de lenguaje como servicio . ICML 2022

   Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu. [PDF] [Código]

2. Aprendizaje indicador de la caja negra para modelos de idiomas previamente capacitados . TMLR 2023.2

   Shizhe Diao, Xuechun Li, Yong Lin, Zhichao Huang, Tong Zhang . [PDF]

3. ADCURSES: búsqueda de instrucciones basada en edición sin gradiente para solicitar grandes modelos de idioma . Preimpresión 2022.3

   Archiki Prasad, Peter Hase, Xiang Zhou, Mohit Bansal . [PDF] [Código]

4. Peque incrustación de disparo a la generación de respuesta controlable . Preimpresión 2022.6

   Hsuan Su, Pohan Chi, Shih-Cheng Huang, Chung Ho Lam, Saurav Sahay, Shang-Tse Chen, Hung-Yi Lee . [PDF]

5. BBTV2: hacia un futuro sin gradiente con modelos de idiomas grandes . EMNLP 2022

   Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu . [PDF] [Código]

6. RLPROMPT: Optimización de las indicaciones de texto discretos con el aprendizaje de refuerzo . EMNLP 2022

   Mingkai Deng, Jianyu Wang, Cheng-Ping Hsieh, Yihan Wang, Han Guo, Tianmin Shu, Meng Song, Eric P. Xing, Zhiting Hu . [PDF] [Código]

7. Ajuste de clip: hacia el aprendizaje rápido sin derivado con una mezcla de recompensas . Hallazgos de EMNLP 2022

   Yekun Chai, Shuohuan Wang, Yu Sun, Hao Tian, ​​Hua Wu, Haifeng Wang . [PDF]

8. Tempera: edición rápida del tiempo de prueba a través del aprendizaje de refuerzo . Preimpresión 2022.11

   Tianjun Zhang, Xuezhi Wang, Denny Zhou, Dale Schuurmans, Joseph E. González. [PDF] [Código]

9. ARRACHBOOSTING: Clasificación de texto de caja negra con diez pases hacia adelante . Preimpresión 2022.12

   Bairu Hou, Joe O'Connor, Jacob Andreas, Shiyu Chang, Yang Zhang . [PDF]

10. Prerrevenimiento multitarea de aviso modular para el aprendizaje chino de pocos disparos . ACL 2023

    Tianxiang Sun, Zhengfu He, Qin Zhu, Xipeng Qiu, Xuanjing Huang . [PDF]

11. Cuando el descenso de gradiente cumple con la optimización sin derivado: una coincidencia hecha en el escenario de caja negra . ACL 2023

    Chengcheng Han, Liqing Cui, Renyu Zhu, Jianing Wang, Nuo Chen, Qiushi Sun, Xiang Li, Ming Gao . [PDF]

12. Haga un ajuste de caja negra basada en el aviso colorida: impulso de generalización del modelo desde tres perspectivas ortogonales . LREC-Color 2024

    Qiushi Sun, Chengcheng Han, Nuo Chen, Renyu Zhu, Jingyang Gong, Xiang Li, Ming Gao . [PDF]

Aprendizaje basado en características

1. Para sintonizar o no sintonizar? Adaptar representaciones previas a las tareas diversas . Repl4nlp@ACL 2019

   Matthew E. Peters, Sebastian Ruder, Noah A. Smith . [PDF]

2. ¿Pueden las explicaciones ser útiles para calibrar modelos de caja negra? ACL 2022

   XI YE, Greg Durrett . [PDF] [Código]

3. La capacitación mejora el aprendizaje basado en el aviso para modelos de idiomas grandes . ICML 2022

   Hunter Lang, Monica Agrawal, Yoon Kim, David Sontag . [PDF]

4. Ajunte en Y: un paradigma de sintonización eficiente para modelos previamente capacitados a gran escala a través del aprendizaje de representación de etiquetas . Preimpresión 2022.2

   Yitao Liu, Chenxin AN, Xipeng Qiu . [PDF]

5. LST: Ejunte lateral de escalera para el aprendizaje de transferencia eficiente de parámetros y memoria . Neurips 2022

   Yi-Lin Sung, Jaemin Cho, Mohit Bansal . [PDF] [Código]

6. Ajuste del decodificador: comprensión de lenguaje eficiente como decodificación . Preimpresión 2022.12

   Ganqu Cui, Werao Li, Ning Ding, Longtao Huang, Zhiyuan Liu, Maosong Sun. [PDF]

Generación de datos

1. Generación de conjuntos de datos con modelos de lenguaje previos a la aparición . EMNLP 2021

   Timo Schick, Hinrich Schütze . [PDF] [Código]

2. GPT3MIX: Aprovechando modelos de lenguaje a gran escala para el aumento de texto . Hallazgos de EMNLP 2021

   Kang Min Yoo, Dongju Park, Jaewook Kang, Sang-Woo Lee, Woomyeong Park . [PDF] [Código]

3. Conocimiento generado por el conocimiento para el razonamiento de sentido común . ACL 2022

   Jiacheng Liu, Alisa Liu, Ximing Lu, Sean Welleck, Peter West, Ronan Le Bras, Yejin Choi, Hannaneh Hajishirzi . [PDF] [Código]

4. Zerogen: aprendizaje eficiente de disparo cero a través de la generación de conjuntos de datos . EMNLP 2022

   Jiacheng Ye, Jiahui Gao, Qintong Li, Hang Xu, Jiangtao Feng, Zhiyong Wu, Tao Yu, Lingpeng Kong . [PDF] [Código]

5. Zerogen+: Generación de datos de alta calidad autoguiada en aprendizaje eficiente de disparo cero . Preimpresión 2022.2

   Jiahui Gao, Renjie PI, Yong Lin, Hang Xu, Jiacheng Ye, Zhiyong Wu, Xiaodan Liang, Zhenguo Li, Lingpeng Kong . [PDF]

6. Augesc: Aumento del diálogo con modelos de idiomas grandes para la conversación de apoyo emocional . Hallazgos de ACL 2023

   Chujie Zheng, Sahand Sabour, Jiaxin Wen, Zheng Zhang, Minlie Huang . [PDF]

7. Generación de datos de capacitación con modelos de lenguaje: hacia la comprensión del lenguaje de disparo cero . Neurips 2022

   Yu Meng, Jiaxin Huang, Yu Zhang, Jiawei Han [PDF] [Código]

Que contribuye

? En primer lugar, ¡gracias por tomarse el tiempo para contribuir! ?

Pasos para contribuir:

• Agregue un nuevo artículo o actualice un artículo existente. Verifique si su papel agregado se ajusta al alcance de este repositorio.
• Utilice el mismo formato que las entradas existentes. Al agregar etiquetas de palabras clave, siga la convención de palabras clave. Al agregar el enlace PDF del documento, utilice la página de resumen si está en ARXIV.
• Modifique el PaperNumber en la parte superior de la página en consecuencia y envíe su solicitud de extracción. Recomendamos dar una explicación muy breve por qué cree que se debe agregar o cambiar un documento.

No se preocupe si pone algo mal, los arreglaremos para usted. ¡Solo contribuye y promueve su increíble trabajo aquí!

Colaboradores

Además de los siguientes contribuyentes que presentaron solicitudes de extracción, también nos gustaría agradecer a Ohad Rubin y Kang Min Yoo por recomendar los documentos.