GPBoost
v1.5.4
GPBOOST es una biblioteca de software para combinar el refuerzo de los árboles con el proceso gaussiano y los modelos de efectos aleatorios agrupados (también conocidos como modelos de efectos mixtos o modelos gaussianos latentes). También permite aplicar de forma independiente el impulso de árboles, así como el proceso gaussiano y los modelos (generalizados) de efectos mixtos (LMMS y GLMMS). La biblioteca GPBOost se escribe predominantemente en C ++, tiene una interfaz C y existe un paquete Python y un paquete R.
Para obtener más información, es posible que desee echar un vistazo:
Las siguientes publicaciones de blog :
La Guía de instalación de CLI explica cómo instalar la versión de interfaz de línea de comando (CLI)
Comentarios sobre eficiencia computacional y grandes datos
La documentación en https://gpboost.readthedocs.io
El algoritmo GPBOost combina el refuerzo de los árboles con modelos gaussianos latentes como el proceso gaussiano (GP) y los modelos de efectos aleatorios agrupados. Esto permite aprovechar las ventajas y remediar los inconvenientes de los modelos gaussianos de refuerzo de árboles y latentes; Vea a continuación una lista de fuerza y debilidades de estos dos enfoques de modelado. El algoritmo GPBOost puede verse como una generalización de los efectos mixtos lineales tradicionales (generalizados) y los modelos de procesos gaussianos y el impulso clásico de árboles independientes (que a menudo tiene la mayor predicción para los datos tabulares).
En comparación con los efectos mixtos lineales (generalizados) y los modelos de procesos gaussianos, el algoritmo GPBOost permite
En comparación con el impulso clásico independiente, el algoritmo GPBOost permite
Para las probabilidades gaussianas (algoritmo GPBOost) , se supone que la variable de respuesta (también conocida como etiqueta) y es la suma de una función media potencialmente no lineal F (x) y los efectos aleatorios ZB:
y = F(X) + Zb + xi
Donde F (x) es una suma (= "conjunto") de los árboles, Xi es un término de error independiente, y X son variables predictoras (también conocidas como covariables o características). Los efectos aleatorios que ZB puede consistir actualmente:
Para las probabilidades no gaussianas (algoritmo lagaboost) , se supone que la variable de respuesta y sigue una distribución P (y | m) y que un parámetro (potencialmente multivariante) M de esta distribución está relacionado con una función no lineal F (x) y zb de efectos aleatorios:
y ~ p(y|m)
m = G(F(X) + Zb)
donde g () es una función de enlace llamada. Consulte aquí para obtener una lista de las probabilidades actualmente compatibles P (Y | M).
Estimación o capacitación de los modelos mencionados anteriormente significa aprender tanto los parámetros de covarianza (también conocido como hiperparámetros) de los efectos aleatorios como la función predictor F (x). Tanto el GPBOost como los algoritmos Lagaboost aprenden de forma iterativamente los parámetros de covarianza y agregan un árbol al conjunto de los árboles f (x) utilizando un gradiente funcional y/o un paso de impulso de Newton. Ver Sigrist (2022, JMLR) y Sigrist (2023, TPAMI) para obtener más detalles.
| Fortalezas | Debilidades |
|---|---|
| -Precisión de predicción de vanguardia | - Asume la independencia condicional de muestras |
| -Modelado automático de no linealidades, discontinuidades e interacciones complejas de alto orden | - produce predicciones discontinuas para, por ejemplo, datos espaciales |
| - robusto para los valores atípicos y la multicolinealidad entre las variables predictoras | - puede tener dificultades con variables categóricas de alta cardinalidad |
| - Transformaciones de las variables predictoras de la escala-invariante | |
| - Manejo automático de valores faltantes en variables predictoras |
| Fortalezas | Debilidades |
|---|---|
| - Predicciones probabilísticas que permiten la cuantificación de la incertidumbre | - Función cero o una media previa lineal (predictor, efectos fijos) |
| - Incorporación de conocimiento previo razonable. Por ejemplo, para datos espaciales: "Las muestras cercanas son más similares entre sí que las muestras distantes" y una función debería variar continuamente / suavemente sobre el espacio | |
| - Modelado de la dependencia que, entre otras cosas, puede permitir un aprendizaje más eficiente de la función de efectos fijos (predictor) | |
| - Los efectos aleatorios agrupados se pueden usar para modelar variables categóricas de alta cardinalidad |
Este proyecto tiene licencia bajo los términos de la licencia de Apache 2.0. Vea la licencia para más información.
