xai

XAI - Kotak Alat Penjelasan untuk Pembelajaran Mesin

XAI adalah perpustakaan pembelajaran mesin yang dirancang dengan kemampuan penjelasan AI di intinya. XAI berisi berbagai alat yang memungkinkan analisis dan evaluasi data dan model. Perpustakaan XAI dikelola oleh Institute for Ethical AI & ML, dan dikembangkan berdasarkan 8 prinsip untuk pembelajaran mesin yang bertanggung jawab.

Anda dapat menemukan dokumentasi di https://ethicalml.github.io/xai/index.html. Anda juga dapat memeriksa pembicaraan kami di Tensorflow London di mana idenya pertama kali dipahami - pembicaraan itu juga berisi wawasan tentang definisi dan prinsip -prinsip di perpustakaan ini.

Video YouTube Menampilkan Cara Menggunakan Xai untuk Mitigasi Bias yang Tidak Diinginkan

Video pembicaraan yang disajikan pada konferensi Pydata London 2019 yang memberikan gambaran tentang motivasi untuk kemampuan menjelaskan pembelajaran mesin serta teknik untuk memperkenalkan kemampuan menjelaskan dan mengurangi bias yang tidak diinginkan menggunakan perpustakaan XAI.
Apakah Anda ingin belajar tentang alat penjelasan pembelajaran mesin yang lebih mengagumkan? Lihatlah daftar "Produksi & Operasi Pembelajaran Mesin yang luar biasa yang dibuat oleh komunitas kami yang berisi daftar alat yang luas untuk kemampuan menjelaskan, privasi, orkestrasi, dan seterusnya.

0.1.0

Jika Anda ingin melihat demo yang berfungsi penuh dalam aksi klon repo ini dan jalankan contoh notebook jupyter di folder contoh.

Apa yang kita maksud dengan AI yang bisa dijelaskan?

Kami melihat tantangan kemampuan menjelaskan lebih dari sekadar tantangan algoritmik, yang membutuhkan kombinasi praktik terbaik sains data dengan pengetahuan khusus domain. Perpustakaan XAI dirancang untuk memberdayakan insinyur pembelajaran mesin dan pakar domain yang relevan untuk menganalisis solusi ujung ke ujung dan mengidentifikasi perbedaan yang dapat mengakibatkan kinerja sub-optimal relatif terhadap tujuan yang diperlukan. Secara lebih luas, perpustakaan XAI dirancang menggunakan 3 langkah pembelajaran mesin yang dapat dijelaskan, yang melibatkan 1) analisis data, 2) evaluasi model, dan 3) pemantauan produksi.

Kami memberikan gambaran visual dari tiga langkah yang disebutkan di atas dalam diagram ini:

Xai QuickStart

Instalasi

Paket XAI ada di PYPI. Untuk menginstal Anda dapat menjalankan:

 pip install xai

Atau Anda dapat menginstal dari sumber dengan mengkloning repo dan menjalankan:

 python setup.py install 

Penggunaan

Anda dapat menemukan contoh penggunaan di folder contoh.

1) Analisis Data

Dengan XAI, Anda dapat mengidentifikasi ketidakseimbangan dalam data. Untuk ini, kami akan memuat dataset sensus dari perpustakaan XAI.

 import xai . data
df = xai . data . load_census ()
df . head ()

Lihat ketidakseimbangan kelas untuk semua kategori satu kolom

 ims = xai . imbalance_plot ( df , "gender" )

Lihat ketidakseimbangan untuk semua kategori di beberapa kolom

 im = xai . imbalance_plot ( df , "gender" , "loan" )

Kelas keseimbangan menggunakan upampling dan/atau downsampling

 bal_df = xai . balance ( df , "gender" , "loan" , upsample = 0.8 )

Lakukan Operasi Kustom pada Grup

 groups = xai . group_by_columns ( df , [ "gender" , "loan" ])
for group , group_df in groups :    
    print ( group ) 
    print ( group_df [ "loan" ]. head (), " n " )

Visualisasikan korelasi sebagai matriks

 _ = xai . correlations ( df , include_categorical = True , plot_type = "matrix" )

Visualisasikan Korelasi sebagai Dendogram Hirarki

 _ = xai . correlations ( df , include_categorical = True )

Buat dataset validasi seimbang dan pelatihan split

 # Balanced train-test split with minimum 300 examples of 
#     the cross of the target y and the column gender
x_train , y_train , x_test , y_test , train_idx , test_idx = 
    xai . balanced_train_test_split (
            x , y , "gender" , 
            min_per_group = 300 ,
            max_per_group = 300 ,
            categorical_cols = categorical_cols )

x_train_display = bal_df [ train_idx ]
x_test_display = bal_df [ test_idx ]

print ( "Total number of examples: " , x_test . shape [ 0 ])

df_test = x_test_display . copy ()
df_test [ "loan" ] = y_test

_ = xai . imbalance_plot ( df_test , "gender" , "loan" , categorical_cols = categorical_cols )

2) Evaluasi model

Kami juga dapat menganalisis interaksi antara hasil inferensi dan fitur input. Untuk ini, kami akan melatih model pembelajaran dalam satu lapisan.

 model = build_model(proc_df.drop("loan", axis=1))

model.fit(f_in(x_train), y_train, epochs=50, batch_size=512)

probabilities = model.predict(f_in(x_test))
predictions = list((probabilities >= 0.5).astype(int).T[0])

Visualisasikan Pentingnya Fitur Permutasi

 def get_avg ( x , y ):
    return model . evaluate ( f_in ( x ), y , verbose = 0 )[ 1 ]

imp = xai . feature_importance ( x_test , y_test , get_avg )

imp . head ()

Identifikasi ketidakseimbangan metrik terhadap semua data uji

 _ = xai . metrics_plot (
        y_test , 
        probabilities )

Identifikasi ketidakseimbangan metrik di seluruh kolom tertentu

 _ = xai . metrics_plot (
    y_test , 
    probabilities , 
    df = x_test_display , 
    cross_cols = [ "gender" ],
    categorical_cols = categorical_cols )

Identifikasi ketidakseimbangan metrik di beberapa kolom

 _ = xai . metrics_plot (
    y_test , 
    probabilities , 
    df = x_test_display , 
    cross_cols = [ "gender" , "ethnicity" ],
    categorical_cols = categorical_cols )

Gambarlah matriks kebingungan

 xai . confusion_matrix_plot ( y_test , pred )

Visualisasikan kurva ROC terhadap semua data uji

 _ = xai . roc_plot ( y_test , probabilities )

Visualisasikan Kurva ROC yang dikelompokkan dengan kolom yang dilindungi

 protected = [ "gender" , "ethnicity" , "age" ]
_ = [ xai . roc_plot (
    y_test , 
    probabilities , 
    df = x_test_display , 
    cross_cols = [ p ],
    categorical_cols = categorical_cols ) for p in protected ]

Visualisasikan akurasi yang dikelompokkan berdasarkan probabilitas ember

 d = xai . smile_imbalance (
    y_test , 
    probabilities )

Visualisasikan metrik statistik yang dikelompokkan berdasarkan probabilitas ember

 d = xai . smile_imbalance (
    y_test , 
    probabilities ,
    display_breakdown = True )

Visualisasikan Manfaat Menambahkan Tinjauan Manual tentang Ambang Probabilitas

 d = xai . smile_imbalance (
    y_test , 
    probabilities ,
    bins = 9 ,
    threshold = 0.75 ,
    manual_review = 0.375 ,
    display_breakdown = False )