Descarga GUNDAM - Descarga del código fuente de GUNDAM

GUNDAM

Código Fuente de IA

1.0.0

Descargar

Golden Plug-in Data Manager (Gundam)

Proyecto | Papel | Documentación

Gundam es un administrador de datos que utiliza modelos de lenguaje para manejar eficientemente los datos textuales, que se basa en Pytorch. Gundam es:

Completo : Gundam proporciona un administrador de datos que incluye nuestro minero propuesto, un generador basado en GPT-2 y un retriever de demostración, y todos estos componentes se pueden extender.
Flexible : Gundam admite modelos de lenguaje GPT-2 con diferentes tamaños.
Eficiente : Gundam proporciona un minero eficiente uno a uno para verificar la calidad de los datos.

Breve introducción

Gundam es un nuevo marco de gestión de datos que mide la suficiencia y la necesidad de enchufar demostraciones condicionadas en modelos de lenguaje. Mostramos que las métricas propuestas de suficiencia y necesidad se pueden operar tanto en instancias de demostración (es decir, nivel de instancia) como en conjuntos de demostraciones (es decir, nivel establecido). Por lo tanto, el conjunto de datos de complemento suficientes y necesarios, nombrados como un conjunto de complementos dorados, puede considerarse como un conjunto de núcleo que incluye las muestras informativas. Dado que enumerar y medir todos los subconjuntos posibles es inviable, diseñamos nuevos algoritmos de búsqueda basados en árboles para extraer el conjunto Golden Plug-in. Observe que el conjunto de complementos Golden podría ser precomputado y almacenado para ahorrar costos de cálculo en línea. En este sentido, los retrievers de demostración no paramétricos podrían funcionar en el conjunto de complementos dorado almacenado en lugar de todo el corpus de datos, para evitar recuperar demostraciones insuficientes o innecesarias. Además, teniendo en cuenta que muchos corpus de datos del mundo real seguirían creciendo, desarrollamos un algoritmo de actualización incremental para evitar volver a competir a Gundam sobre todas las partes cambiadas y sin cambios.

Casos de uso

La ventaja significativa de Gundam es que Gundam se puede implementar fácilmente en cualquier plataforma de gestión de datos existente porque la idea central de Gundam es asignar diferentes niveles de prioridad a los datos almacenados para mostrar sus cualidades de datos con respecto al modelo de idioma dado.

TODO (última actualización en 2023/07/24)

Libere versiones básicas de un minero uno a uno basado en generadores basados en GPT-2 tanto en configuraciones de aprendizaje no supervisadas (también conocido como, pocas inferencias de disparo) como en la configuración de aprendizaje supervisado (también conocido como inferencia de calentamiento).
Apoye a los recolectores de demostración basados en el azar, a los recolectores de demostración basados en relevancia y a los recolectores de demostración basados en la diversidad.
Admite generadores de pares a uno minero y basados en GPT-3.
Libere el conjunto de datos textuales de suficiencia y necesidad.
Lanze el tutorial de documentos detallados y la orientación de readme.

Citando el núcleo

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}