advanced value counts

Bienvenue dans les comptages de valeur avancée

Les comptes de valeur avancée sont un package python contenant la classe AdvancedValueCounts qui utilise des pandas .value_counts() , .groupby() et Seaborn pour obtenir facilement beaucoup d'informations sur le nombre de colonnes (catégoriques) dans un Pandas DataFrame. Le potentiel de ce package est à son apogée lorsqu'il s'agit d'informations sur les comptes d'une colonne après un regroupement: df.groupby(groupby_col)[column].value_counts() . Voir l'utilisation sur la façon d'utiliser AdvancedValueCounts . Lisez cet article moyen ou consultez ce cahier pour une explication sur la valeur ajoutée de ce package.

Table des matières :

• Installation pour les utilisateurs utilisant PYPI
• Installation pour les utilisateurs sans PYPI
• Usage
• Installation pour les contributeurs

Installation pour les utilisateurs utilisant PYPI

 pip install advanced-value-counts

Si les erreurs font surface, veuillez mettre à niveau PIP et Setuptools

 python3 -m pip install --upgrade pip
python3 -m pip install --upgrade setuptools

Installation pour les utilisateurs sans PYPI

 git clone https://github.com/sTomerG/advanced-value-counts.git
cd advanced-value-counts
pip install -e .
# optional but potentially crucial
pip install -r requirements/requirements.txt

Pour tester si l'installation a été exécutée avec succès dans le répertoire des comptes de valeur avancée ( les avertissements de dépréciation sont attendus)

 pytest

Usage

L'exemple ci-dessous utilise une version modifiée de l'ensemble de données Titanic de Kaggle, qui peut être trouvée dans ce Gitrepo ici.

Le code de ce cahier est disponible ici.

 from advanced_value_counts . avc import AdvancedValueCounts
import pandas as pd

# read in the data file
df = pd . read_csv ( '../tests/data/titanic.csv' , usecols = [ 'CabinArea' , 'Title' ])
df . head ()

	Cabine	Titre
0	Nan	M.
1	C	Mme.
2	Nan	Manquer.
3	C	Mme.
4	Nan	M.

 # create an instance of AdvancedValueCounts
avc = AdvancedValueCounts ( df = df , column = 'Title' )

# print the AdvancedValueCounts DataFrame
avc . avc_df

	rapport	compter
Titre
M.	0,580247	517
Manquer.	0.204265	182
Mme.	0.140292	125
Maître.	0,044893	40
_n / A	0,007856	7
Tour.	0,006734	6
Majeur.	0,002245	2
Col.	0,002245	2
Mlle.	0,002245	2
Comtesse.	0,001122	1
Capt.	0,001122	1
MS.	0,001122	1
Monsieur.	0,001122	1
Dame.	0,001122	1
Mme.	0,001122	1
Enfiler.	0,001122	1
Jonkheer.	0,001122	1

Définissez min_group_count sur 5 pour regrouper les petits groupes en groupe '_other'

 avc . min_group_count = 5
avc . avc_df

	rapport	compter
Titre
M.	0,580247	517
Manquer.	0.204265	182
Mme.	0.140292	125
Maître.	0,044893	40
_autre	0,015713	14
_n / A	0,007856	7
Tour.	0,006734	6

Paramètres de la classe AdvancedValueCounts pour s'adapter aux petits groupes pour une seule colonne:

 dropna : bool = False
min_group_count : int = 1 # does not effect NA or the '_other' group
min_group_ratio : float = 0 # does not effect NA or the '_other' group

Il est également possible d'utiliser column en combinaison avec Paramet groupy_col: str = None pour imiter le comportement de df.groupby(groupby_col)[column].value_counts()

 avc_grouped = AdvancedValueCounts ( df = df , column = 'Title' , groupby_col = 'CabinArea' )
avc_grouped . avc_df

		compter	sous-groupe_ratio	subgr_r_diff_subgr_all	r_vs_total
Cabine	Titre
UN	Col.	1	0,066667	0,064422	0,001122
	Dame.	1	0,066667	0,065544	0,001122
	Maître.	1	0,066667	0,021773	0,001122
	M.	11	0,733333	0.153086	0,012346
	Monsieur.	1	0,066667	0,065544	0,001122
...	...	...	...	...	...
_n / A	Mme.	81	0.117904	-0.022388	0.090909
	MS.	1	0,001456	0.000333	0,001122
	Tour.	6	0,008734	0,002000	0,006734
	_n / A	4	0,005822	-0,002034	0,004489
	_total	687	1.000000	0,000000	0,771044

74 lignes × 4 colonnes

Pour obtenir un meilleur aperçu des données, définissez les attributs pour ajuster la taille du groupe et arrondi les rapports

 avc_grouped . min_group_ratio = 0.05
avc_grouped . min_subgroup_count = 5
avc_grouped . round_ratio = 3
avc_grouped . avc_df

		compter	sous-groupe_ratio	subgr_r_diff_subgr_all	r_vs_total
Cabine	Titre
B	Manquer.	14	0,298	0,094	0,016
	M.	16	0,340	-0,240	0,018
	Mme.	10	0,213	0,073	0,011
	_n / A	1	0,021	0,013	0,001
	_autre	6	0,127	0.111	0,007
	_total	47	1.000	0.000	0,053
C	Manquer.	12	0,203	-0,001	0,013
	M.	29	0,492	-0,088	0,033
	Mme.	14	0,237	0,097	0,016
	_n / A	1	0,017	0,009	0,001
	_autre	3	0,051	0,035	0,003
	_total	59	1.000	0.000	0,066
_tous	Maître.	40	0,045	Nan	0,045
	Manquer.	182	0,204	Nan	0,204
	M.	517	0,580	Nan	0,580
	Mme.	125	0,140	Nan	0,140
	Tour.	6	0,007	Nan	0,007
	_n / A	7	0,008	Nan	0,008
	_autre	14	0,016	Nan	0,016
	_total	891	1.000	Nan	1.000
_n / A	Maître.	33	0,048	0,003	0,037
	Manquer.	135	0.197	-0,007	0,152
	M.	424	0,617	0,037	0,476
	Mme.	81	0,118	-0,022	0,091
	Tour.	6	0,009	0,002	0,007
	_n / A	4	0,006	-0,002	0,004
	_autre	4	0,006	-0,010	0,004
	_total	687	1.000	0.000	0,771
_autre	Maître.	5	0,051	0,006	0,006
	Manquer.	21	0,214	0,010	0,024
	M.	48	0,490	-0,090	0,054
	Mme.	20	0,204	0,064	0,022
	_n / A	1	0,010	0,002	0,001
	_autre	3	0,031	0,015	0,003
	_total	98	1.000	0.000	0.110

Paramètres de la classe AdvancedValueCounts pour s'adapter aux groupes dans un avancé des AdvancedValueCounts groupés

 # for groupby_col:
dropna : bool = False
max_groups : int = None # does not effect NA or the '_other' group
min_group_count : int = 1 # does not effect NA or the '_other' group
min_group_ratio : float = 0 # does not effect NA or the '_other' group

# for column:
dropna : bool = False
max_subgroups : int = None # does not effect NA or the '_other' group
min_subgroup_count : int = 1 # does not effect NA or the '_other' group
min_subgroup_ratio : float = 0 # does not effect NA or the '_other' group
min_subgroup_ratio_vs_total : float = 0 # does not effect NA or the '_other' group

Pour obtenir un tracé de AdvancedValueCounts.avc_df :

 avc_grouped . get_plot ( normalize = True ) # normalize = True is default value 

Pour obtenir un dataframe sans le résumé_statistics tels que '_all' et '_total' :

 avc_grouped . unsummerized_df

		compter	sous-groupe_ratio	subgr_r_diff_subgr_all	r_vs_total
Cabine	Titre
B	Manquer.	14	0,298	0,094	0,016
	M.	16	0,340	-0,240	0,018
	Mme.	10	0,213	0,073	0,011
	_n / A	1	0,021	0,013	0,001
	_autre	6	0,127	0.111	0,007
C	Manquer.	12	0,203	-0,001	0,013
	M.	29	0,492	-0,088	0,033
	Mme.	14	0,237	0,097	0,016
	_n / A	1	0,017	0,009	0,001
	_autre	3	0,051	0,035	0,003
_n / A	Maître.	33	0,048	0,003	0,037
	Manquer.	135	0.197	-0,007	0,152
	M.	424	0,617	0,037	0,476
	Mme.	81	0,118	-0,022	0,091
	Tour.	6	0,009	0,002	0,007
	_n / A	4	0,006	-0,002	0,004
	_autre	4	0,006	-0,010	0,004
_autre	Maître.	5	0,051	0,006	0,006
	Manquer.	21	0,214	0,010	0,024
	M.	48	0,490	-0,090	0,054
	Mme.	20	0,204	0,064	0,022
	_n / A	1	0,010	0,002	0,001
	_autre	3	0,031	0,015	0,003

Installation pour les contributeurs

 git clone https://github.com/sTomerG/advanced-value-counts.git
cd advanced-value-counts
python3 -m venv .venv

Activer l'environnement virtuel

Windows:

 ..venvScriptsactivate

Linux / macOS:

 source .venv/bin/activate

Installer les exigences

 python -m pip install --upgrade pip
pip install -r requirements/requirements.txt

Tester si tout fonctionne correctement

( Les avertissements de dépréciation sont attendus)

Avec tox

 tox

Sans tox

 pip install -e .
pytest