GPBoost
v1.5.4
GPBoost는 트리 부스트를 가우시안 프로세스 및 그룹화 된 랜덤 효과 모델 (일명 혼합 효과 모델 또는 잠재적 가우스 모델)과 결합하기위한 소프트웨어 라이브러리입니다. 또한 가우스 프로세스뿐만 아니라 트리 부스트 및 (일반화 된) 선형 혼합 효과 모델 (LMMS 및 GLMM)을 독립적으로 적용 할 수 있습니다. GPBoost 라이브러리는 주로 C ++로 작성되었으며 C 인터페이스가 있으며 Python 패키지 와 R 패키지가 모두 있습니다.
자세한 내용은 다음을 살펴보십시오.
다음 블로그 게시물 :
CLI (Command Line Interface) 버전을 설치하는 방법을 설명하는 CLI 설치 안내서
계산 효율성 및 대규모 데이터에 대한 의견
https://gpboost.readthedocs.io의 문서
GPBoost 알고리즘은 트리 부스트를 가우시안 프로세스 (GP) 및 그룹화 된 랜덤 효과 모델과 같은 잠재 가우시안 모델과 결합합니다. 이를 통해 트리 부스트 및 잠재적 가우스 모델의 장점과 구제책 단점을 활용할 수 있습니다. 이 두 모델링 접근법의 강점과 약점 목록은 아래를 참조하십시오. GPBoost 알고리즘은 전통적인 (일반화 된) 선형 혼합 효과와 가우스 프로세스 모델과 고전적인 독립 트리 부스트 (종종 표 형 데이터에 대해 가장 높은 예측을 갖는)의 일반화로 볼 수 있습니다.
(일반화 된) 선형 혼합 효과 및 가우스 프로세스 모델과 비교하여 GPBoost 알고리즘은
고전적인 독립 부스팅과 비교하여 GPBoost 알고리즘은
가우스 가능성 (GPBoost 알고리즘)의 경우 , 응답 변수 (일명 레이블) y는 잠재적으로 비선형 평균 함수 f (x) 및 랜덤 효과 ZB의 합의 합의라고 가정합니다.
y = F(X) + Zb + xi
여기서 f (x)는 나무의 합 (= "ensemble")이고 xi는 독립 오차 항이고 x는 예측 변수 (일명 공변량 또는 특징)입니다. 랜덤 효과 ZB는 현재로 구성 될 수 있습니다.
비 가우스 가능성 (lagaboost 알고리즘)의 경우 , 응답 변수 y는 분포 P (y | m)를 따르는 것으로 가정 하고이 분포의 (잠재적으로 다변량) 매개 변수 M은 비어 동의 기능 F (x) 및 랜덤 효과 ZB와 관련이 있다고 가정합니다.
y ~ p(y|m)
m = G(F(X) + Zb)
여기서 g ()는 소위 링크 함수입니다. 현재 지원되는 가능성 P (y | m) 목록은 여기를 참조하십시오.
위에서 언급 한 모델을 추정하거나 훈련한다는 것은 랜덤 효과의 공분산 매개 변수 (일명 초 파라미터)와 예측 기능 F (x)를 학습하는 것을 의미합니다. GPBoost와 Lagaboost 알고리즘은 모두 공분산 매개 변수를 배우고 기능적 구배 및/또는 Newton 부스팅 단계를 사용하여 트리 앙상블 F (X)에 트리를 추가합니다. 자세한 내용은 Sigrist (2022, JMLR) 및 Sigrist (2023, TPAMI)를 참조하십시오.
| 강점 | 약점 |
|---|---|
| -최첨단 예측 정확도 | - 샘플의 조건부 독립성을 가정합니다 |
| -비선형 성, 불연속성 및 복잡한 고차 상호 작용의 자동 모델링 | - 공간 데이터에 대한 불연속 예측을 생성합니다 |
| - 예측 변수 간의 이상 및 다중 공선성에 대한 강력한 | - 높은 수정 성 범주 형 변수에는 어려움이있을 수 있습니다 |
| - 예측 변수의 스케일 불변성에서 모노톤 변환 | |
| - 예측 변수에서 결 측값의 자동 처리 |
| 강점 | 약점 |
|---|---|
| - 불확실성 정량화를 허용하는 확률 적 예측 | - 0 또는 선형 사전 평균 (예측 변수, 고정 효과) 함수 |
| - 합리적인 사전 지식의 통합. 예를 들어 공간 데이터의 경우 : "닫기 샘플은 먼 샘플보다 서로 더 유사합니다." | |
| - 무엇보다도 고정 효과 (예측 자) 기능에 대한보다 효율적인 학습을 허용 할 수있는 종속성 모델링 | |
| - 그룹화 된 랜덤 효과는 고전성 범주 형 변수를 모델링하는 데 사용할 수 있습니다. |
이 프로젝트는 Apache 라이센스 2.0의 조건에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스를 참조하십시오.
