MLstatkit下載MLstatkit源代碼下載

MLstatkit

Ai源碼

v0.1.4

下載

mlstatkit

MLSTATKIT是一個綜合的Python庫，旨在將既定的統計方法無縫整合到機器學習項目中。它包含各種工具，包括DeLong的測試，用於比較兩個相關接收器操作特徵（ROC）曲線下的區域，用於計算置信區間的自動啟動， AUC2OR ，用於將接收器操作特徵曲線（AUC）下的區域轉換為幾個相關統計數據，例如Cohen的DESTICS，例如COHEN的DESTER _ PEARSON的RPB，INSTIRE for for pearson的rpb，and Natural for fords-grat and fords-grat and Natural and Natural and Natural and Natural and Idds and Idds and Idds and Idds and Iddio and Idds and Idds and Idd and rat rat rat rat，兩個模型指標之間差異的重要性是通過隨機調整數據並重新計算指標以創建差異分佈的意義。 MLSTATKIT憑藉其模塊化設計，為研究人員和數據科學家提供了一種靈活而強大的工具包，以增強其分析和模型評估，以滿足機器學習領域內的廣泛統計測試需求。

安裝

使用PIP直接從PYPI安裝MLSTATKIT：

pip install MLstatkit

用法

Delong的測試

Delong_test函數可以對兩個相關接收器操作特徵（ROC）曲線下的區域之間的差異進行統計評估。這有助於對比較模型性能有更深入的了解。

參數：

true ：形狀陣列（n_samples，）
範圍{0，1}的真實二進制標籤。
prog_a ：形狀的陣列（n_samples，）
通過第一個模型預測概率。
prog_b ：類似於陣列的形狀（n_samples，）
通過第二個模型預測概率。

返回：

Z_SCORE ：浮動
比較兩個模型的AUC的z分數。
p_value ：浮動
比較兩個模型的AUC的P值。

例子：

 from MLstatkit . stats import Delong_test

# Example data
true = np . array ([ 0 , 1 , 0 , 1 ])
prob_A = np . array ([ 0.1 , 0.4 , 0.35 , 0.8 ])
prob_B = np . array ([ 0.2 , 0.3 , 0.4 , 0.7 ])

# Perform DeLong's test
z_score , p_value = Delong_test ( true , prob_A , prob_B )

print ( f"Z-Score: { z_score } , P-Value: { p_value } " )

這證明了Delong_test的用法根據統計學的概率和真實標籤在統計上比較了兩個模型的AUC。返回的Z分數和P值有助於理解模型性能的差異是否具有統計學意義。

引導間隔

Bootstrapping功能使用引導函數計算指定性能指標的置信區間，從而衡量了估計的可靠性。它支持AUROC（ROC曲線下的區域），AUPRC（Precision-Recall曲線下的區域）和F1分數指標的計算。

參數：

true ：形狀陣列（n_samples，）
True二進制標籤，其中標籤為{0，1}。
概率：類似於形狀的數組（n_samples，）
預測概率，由分類器的preadive_proba方法返回，或基於指定的評分函數和閾值的二進制預測。
metric_str ：str，default ='f1'
標識符用於使用評分功能。支持的值包括“ F1”，“準確性”，“回憶”，“ Precision”，“ ROC_AUC”，“ PR_AUC”和“ faluere_precision”。
n_bootstraps ：int，默認值= 1000
進行行動迭代的數量要執行。增加此數字可提高置信區間估計的可靠性，但也增加了計算時間。
profester_level ：float，默認值= 0.95
間隔估計的置信度。例如，0.95代表95％的置信區間。
閾值：float，默認值= 0.5
用於將概率轉換為“ F1”等指標的二進制標籤的閾值值。
平均：str，默認='宏'
指定平均方法適用於多類/多標籤目標。其他選項包括“微型”，“樣品”，“加權”和“二進制”。
Random_State ：int，默認值= 0
隨機數生成器的種子。此參數可確保結果的可重複性。

返回：

Original_score ：float
從原始數據集計算出的分數而無需引導。
信心_lower ：浮動
置信區間的下限。
信心_UPPER ：浮動
置信區間的上限。

示例：

 from MLstatkit . stats import Bootstrapping

# Example data
y_true = np . array ([ 0 , 1 , 0 , 0 , 1 , 1 , 0 , 1 , 0 ])
y_prob = np . array ([ 0.1 , 0.4 , 0.35 , 0.8 , 0.2 , 0.3 , 0.4 , 0.7 , 0.05 ])

# Calculate confidence intervals for AUROC
original_score , confidence_lower , confidence_upper = Bootstrapping ( y_true , y_prob , 'roc_auc' )
print ( f"AUROC: { original_score :.3f } , Confidence interval: [ { confidence_lower :.3f } - { confidence_upper :.3f } ]" )

# Calculate confidence intervals for AUPRC
original_score , confidence_lower , confidence_upper = Bootstrapping ( y_true , y_prob , 'pr_auc' )
print ( f"AUPRC: { original_score :.3f } , Confidence interval: [ { confidence_lower :.3f } - { confidence_upper :.3f } ]" )

# Calculate confidence intervals for F1 score with a custom threshold
original_score , confidence_lower , confidence_upper = Bootstrapping ( y_true , y_prob , 'f1' , threshold = 0.5 )
print ( f"F1 Score: { original_score :.3f } , Confidence interval: [ { confidence_lower :.3f } - { confidence_upper :.3f } ]" )

# Calculate confidence intervals for AUROC, AUPRC, F1 score
for score in [ 'roc_auc' , 'pr_auc' , 'f1' ]:
    original_score , conf_lower , conf_upper = Bootstrapping ( y_true , y_prob , score , threshold = 0.5 )
    print ( f" { score . upper () } original score: { original_score :.3f } , confidence interval: [ { conf_lower :.3f } - { conf_upper :.3f } ]" )

統計意義的排列測試

Permutation_test函數通過隨機調整數據並重新計算指標以創建差異分佈來評估兩個模型指標之間差異的統計學意義。此方法不假定數據的特定分佈，這是比較模型性能的強大選擇。

參數：

y_true ：形狀的陣列（n_samples，）
True二進制標籤，其中標籤為{0，1}。
prog_model_a ：類似於形狀的數組（n_samples，）
從第一個模型預測概率。
prog_model_b ：類似於形狀的數組（n_samples，）
從第二個模型預測概率。
metric_str ：str，default ='f1'
比較指標。支持的指標包括“ F1”，“準確性”，“回憶”，“ Precision”，“ ROC_AUC”，“ PR_AUC”和“ paquial_precision”。
n_bootstraps ：int，默認值= 1000
生成的置換樣品數量。
閾值：float，默認值= 0.5
用於將概率轉換為“ F1”等指標的二進制標籤的閾值值。
平均：str，默認='宏'
指定平均方法適用於多類/多標籤目標。其他選項包括“微型”，“樣品”，“加權”和“二進制”。
Random_State ：int，默認值= 0
隨機數生成器的種子。此參數可確保結果的可重複性。

返回：

metric_a ：float
使用原始數據計算出的模型A的度量。
metric_b ：float
使用原始數據計算出B模型的度量。
p_value ：浮動
置換測試中的p值表明觀察到差異與無原假設下觀察到的差異更為極端的差異的可能性。
基準：浮動
觀察到的模型A和模型B的指標之間的差異。
samples_mean ：float
排列差異的平均值。
samples_std ：float
排列差異的標準偏差。

示例：

 from MLstatkit . stats import Permutation_test

y_true = np . array ([ 0 , 1 , 0 , 0 , 1 , 1 , 0 , 1 , 0 ])
prob_model_A = np . array ([ 0.1 , 0.4 , 0.35 , 0.8 , 0.2 , 0.3 , 0.4 , 0.7 , 0.05 ])
prob_model_B = np . array ([ 0.2 , 0.3 , 0.25 , 0.85 , 0.15 , 0.35 , 0.45 , 0.65 , 0.01 ])

# Conduct a permutation test to compare F1 scores
metric_a , metric_b , p_value , benchmark , samples_mean , samples_std = Permutation_test (
    y_true , prob_model_A , prob_model_B , 'f1'
)

print ( f"F1 Score Model A: { metric_a :.5f } , Model B: { metric_b :.5f } " )
print ( f"Observed Difference: { benchmark :.5f } , p-value: { p_value :.5f } " )
print ( f"Permuted Differences Mean: { samples_mean :.5f } , Std: { samples_std :.5f } " )

AUC與優勢比的轉換（OR）

AUC2OR函數將曲線（AUC）值下方的區域轉換為優勢比（OR），並選擇返回中間值，例如T，Z，D和LN_OR。這種轉換對於理解AUC，二進制分類中的常見度量和OR之間的關係很有用，該度量通常用於統計分析。

參數：

AUC ：浮動
要轉換的曲線（AUC）值下的面積。
return_all ：bool，默認值= false
如果為true，則返回中間值（t，z，d，ln_or）。

返回：

或：浮動
從給定的AUC值中計算出的優勢比（OR）。
T ：浮動，可選
從AUC計算得出的中間值。
Z ：浮動，可選
從t計算的中間值。
D ：浮動，可選
從z計算的中間值。
ln_or ：浮動，可選
優勢比的自然對數。

示例：

 from MLstatkit . stats import AUC2OR

AUC = 0.7  # Example AUC value

# Convert AUC to OR and retrieve all intermediate values
t , z , d , ln_OR , OR = AUC2OR ( AUC , return_all = True )

print ( f"t: { t :.5f } , z: { z :.5f } , d: { d :.5f } , ln_OR: { ln_OR :.5f } , OR: { OR :.5f } " )

# Convert AUC to OR without intermediate values
OR = AUC2OR ( AUC )
print ( f"OR: { OR :.5f } " )