edamame

Edamame

• Edamame
• Fungsionalitas
• Modul EDA
• Modul Regressor
  • Contoh:
• Modul classifier
  • Contoh:
• Todos

Edamame terinspirasi oleh paket-paket seperti profil panda, pycaret, dan yellowbrick. Tujuan edamame adalah untuk menyediakan fungsi yang ramah pengguna untuk melakukan analisis data eksplorasi (EDA) pada dataset, serta untuk melatih dan menganalisis baterai model untuk masalah regresi atau klasifikasi.

Untuk menginstal paket,

 pip install edamame

Paket edamame berfungsi dengan benar di dalam buku note-note. Anda dapat menemukan dokumentasi paket di halaman Edamame-Documentation.

---

Fungsionalitas

Paket ini terdiri dari tiga modul: EDA, yang melakukan analisis data eksplorasi; dan regressor dan classifier, yang menangani pelatihan model pembelajaran mesin untuk regresi dan klasifikasi, masing -masing. Untuk melihat contoh penggunaan paket edamame, Anda dapat memeriksa folder contoh di repositori.

---

Modul EDA

 import edamame . eda as eda

Modul EDA menyediakan berbagai fungsi untuk melakukan analisis data eksplorasi (EDA) pada dataset. Dengan modul ini Anda dapat dengan mudah mengeksplorasi dan memanipulasi data Anda, melakukan statistik deskriptif, analisis korelasi, dan menyiapkan data Anda untuk pembelajaran mesin. Modul "EDA" menawarkan fungsionalitas berikut:

• Fungsi Eksplorasi dan Manipulasi Data:

  • Dimensi : Fungsi ini menampilkan jumlah baris dan kolom dari DataFrame PANDAS yang dilewati.
  • identifikasi_types : Identifikasi tipe data dari setiap kolom.
  • view_cardinality : Lihat jumlah nilai unik di setiap kolom kategorikal.
  • Modify_cardinality : Modifikasi jumlah nilai unik dalam kolom.
  • Hilang : Periksa apakah ada data yang hilang dalam dataset.
  • handling_missing : Ganti atau hapus nilai yang hilang dalam dataset.
  • Drop_columns : Hapus kolom tertentu dari dataset.
  • num_to_categorical : Fungsi mengembalikan nama data dengan kolom yang diubah menjadi "objek".
  • Interaksi : Fungsi ini menampilkan plot interaktif untuk menganalisis hubungan antara kolom numerik dengan scatterplot.
  • Inspeksi : Fungsi ini menampilkan plot interaktif untuk menganalisis distribusi variabel berdasarkan kardinalitas yang berbeda dari variabel target.
  • split_and_scaling : Fungsi mengembalikan dua DataFrames PANDAS: Matriks Regressor X berisi semua prediktor untuk model, seri Y berisi nilai -nilai variabel respons.

• Fungsi statistik deskriptif:

  • gambarkan_distribution : Fungsi ini menampilkan hasil metode gambaran () yang diterapkan pada dataframe panda, dibagi dengan kolom numerik dan objek.
  • Plot_categorical : Fungsi mengembalikan urutan tabel dan plot untuk variabel kategori.
  • Plot_numerical : Fungsi mengembalikan urutan tabel dan plot untuk variabel numerik.
  • num_variable_study : Fungsi dia menampilkan transformasi berikut dari variabel col lulus: log (x), sqrt (x), x^2, kotak-cox, 1/x.

• Fungsi Analisis Korelasi:

  • Correlation_pearson : Fungsi melakukan korelasi Pearson antara pasangan kolom.
  • Correlation_categorical : Fungsi melakukan uji chi-square independensi antara variabel kategori dataset.
  • Correlation_phik : Hitung koefisien korelasi PHIK antara semua pasangan kolom (tautan kertas).

• Fungsi yang berguna:

  • Load_model : Fungsi memuat model yang disimpan dalam format acar.
  • Pengaturan : Fungsi mengembalikan elemen -elemen berikut: x_train, y_train, x_test, y_test.
  • Penskalaan : Fungsi mengembalikan matriks yang dinormalisasi/standar.
  • OHE : Fungsi mengembalikan array numpy yang dilewati sebagai input, dikonversi menggunakan pengkodean satu-panas.

---

Modul Regressor

 from edamame . regressor import TrainRegressor , regression_metrics

Kelas Trainregressor dirancang untuk digunakan sebagai pipa untuk pelatihan dan penanganan model regresi.

Kelas ini menyediakan beberapa metode untuk pemasangan model regresi yang berbeda, metrik model komputasi, model menyimpan dan memuat, dan menggunakan AutomL untuk memilih model terbaik berdasarkan metrik kinerja. Metode -metode ini termasuk:

• Linear : Sesuai dengan model regresi linier dengan data pelatihan.
• Lasso : Sesuai dengan model regresi laso dengan data pelatihan.
• Ridge : Sesuai dengan model regresi punggungan dengan data pelatihan.
• Pohon : Sesuai dengan model regresi pohon keputusan dengan data pelatihan.
• Random_forest : Sesuai dengan model regresi hutan acak dengan data pelatihan.
• XGBoost : Cocok untuk model regresi XGBoost dengan data pelatihan.
• AUTO_ML : Menggunakan Automl untuk memilih model terbaik berdasarkan metrik kinerja.
• Model_metrics : Menghitung dan mencetak metrik kinerja untuk setiap model yang terlatih.
• save_model : Menyimpan model terlatih ke file.

Setelah menyimpan model dengan metode Save_Model , kami dapat mengunggah model menggunakan fungsi muat Modul EDA dan mengevaluasi kinerjanya pada data baru menggunakan fungsi regression_metrics .

 from edamame . regressor import RegressorDiagnose

Kelas Regressordiagnosis dirancang untuk mendiagnosis model regresi dan menganalisis kinerjanya. Kelas ini menyediakan beberapa metode untuk mendiagnosis dan menganalisis kinerja model regresi. Metode -metode ini termasuk:

• Koefisien : Menghitung dan mencetak koefisien model regresi.
• Random_forest_fi : Menampilkan plot pentingnya fitur untuk model regresi hutan acak.
• Random_forest_fi : Menampilkan plot pentingnya fitur untuk model regresi XGBoost.
• Prediksi_error : Menghitung dan mencetak kesalahan prediksi model regresi pada data uji.
• Residual_plot : Membuat dan menampilkan plot residual untuk model regresi.
• QQPlot : Membuat dan menampilkan plot QQ untuk model regresi.

Contoh:

 from sklearn . datasets import make_regression
from edamame . regressor import TrainRegressor
import pandas as pd
import edamame . eda as eda
from edamame . regressor import RegressorDiagnose
X , y = make_regression ( n_samples = 1000 , n_features = 5 , n_targets = 1 , random_state = 42 )
X = pd . DataFrame ( X , columns = [ "f1" , "f2" , "f3" , "f4" , "f5" ])
y = pd . DataFrame ( y , columns = [ "y" ])
X_train , y_train , X_test , y_test = eda . setup ( X , y )
X_train_s = eda . scaling ( X_train )
X_test_s = eda . scaling ( X_test )
regressor = TrainRegressor ( X_train_s , y_train , X_test_s , y_test )
rf = regressor . random_forest ()
regressor . model_metrics ()
diagnose = RegressorDiagnose ( X_train_s , y_train , X_test_s , y_test )
diagnose . random_forest_fi ( model = rf )
diagnose . prediction_error ( model = rf )

---

Modul classifier

 from edamame . classifier import TrainClassifier

Kelas TrainClassifier dirancang untuk digunakan sebagai pipa untuk pelatihan dan penanganan model klasifikasi.

Kelas ini menyediakan beberapa metode untuk pemasangan model regresi yang berbeda, metrik model komputasi, model menyimpan dan memuat, dan menggunakan AutomL untuk memilih model terbaik berdasarkan metrik kinerja. Metode -metode ini termasuk:

• Logistik : Sesuai dengan model logistik dengan data pelatihan.
• Gaussian_nb : Sesuai dengan model Bayes Naif Gaussina dengan data pelatihan.
• KNN : Cocok dengan model klasifikasi tetangga K-Nearest dengan data pelatihan.
• Pohon : Sesuai dengan model klasifikasi pohon keputusan dengan data pelatihan.
• Random_forest : Sesuai dengan model klasifikasi hutan acak dengan data pelatihan.
• XGBOOST : Sesuai dengan model klasifikasi XGBoost dengan data pelatihan.
• • SVM : Sesuai dengan model klasifikasi vektor dukungan dengan data pelatihan.
• AUTO_ML : Menggunakan Automl untuk memilih model terbaik berdasarkan metrik kinerja.
• Model_metrics : Menghitung dan mencetak metrik kinerja untuk setiap model yang terlatih.
• save_model : Menyimpan model terlatih ke file.

Setelah menyimpan model dengan metode Save_Model , kami dapat mengunggah model menggunakan fungsi muat Modul EDA dan mengevaluasi kinerjanya pada data baru menggunakan fungsi classifier_metrics .

 from edamame . classifier import classifier_metrics

Contoh:

 from edamame . classifier import TrainClassifier
from sklearn import datasets
import edamame . eda as eda
iris = datasets . load_iris ()
X = iris . data
X = pd . DataFrame ( X , columns = iris . feature_names )
y = iris . target
y = pd . DataFrame ( y , columns = [ 'y' ])
X_train , y_train , X_test , y_test = eda . setup ( X , y )
X_train_s = eda . scaling ( X_train )
X_test_s = eda . scaling ( X_test )
classifier = TrainClassifier ( X_train_s , y_train , X_test_s , y_test )
models = classifier . auto_ml ()
svm = classifier . svm ()
classifier . model_metrics ( model_name = "svm" )
classifier . save_model ( model_name = "svm" )
svm_upload = eda . load_model ( path = "svm.pkl" )
classifier_metrics ( svm_upload , X_train_s , y_train )

---

Todos

• Tambahkan notebook untuk EDA dalam masalah klasifikasi ke repositori edamame-notebook.
• Tambahkan notebook untuk pelatihan/mendiagnosis model klasifikasi ke repositori edamame-notebook.
• Tambahkan metode ROCAUC ke kelas ClassifiERDiagnosis.
• Perbarui contoh notebook.