advanced value counts

Bem-vindo a contagens de valor avançado

Contas de valor avançado são uma embalagem python .value_counts() contém a classe AdvancedValueCounts que utiliza .groupby() pandas. O potencial deste pacote está no auge ao desejar informações de contagem de uma coluna após um agrupamento: df.groupby(groupby_col)[column].value_counts() . Veja o uso sobre como usar AdvancedValueCounts . Leia este artigo médio ou consulte este notebook para obter uma explicação sobre o valor agregado deste pacote.

Índice :

• Instalação para usuários usando Pypi
• Instalação para usuários sem Pypi
• Uso
• Instalação para colaboradores

Instalação para usuários usando Pypi

 pip install advanced-value-counts

Se a superfície dos erros, por favor, atualize o PIP e o SetupTools

 python3 -m pip install --upgrade pip
python3 -m pip install --upgrade setuptools

Instalação para usuários sem Pypi

 git clone https://github.com/sTomerG/advanced-value-counts.git
cd advanced-value-counts
pip install -e .
# optional but potentially crucial
pip install -r requirements/requirements.txt

Para testar se a instalação foi executada com sucesso no diretório de contas de valor avançado ( os depreciação são esperados)

 pytest

Uso

O exemplo abaixo usa uma versão modificada do conjunto de dados Titanic da Kaggle, que pode ser encontrado neste gitrepo aqui.

O código deste notebook pode ser encontrado aqui.

 from advanced_value_counts . avc import AdvancedValueCounts
import pandas as pd

# read in the data file
df = pd . read_csv ( '../tests/data/titanic.csv' , usecols = [ 'CabinArea' , 'Title' ])
df . head ()

	CabinAea	Título
0	Nan	Senhor.
1	C	Sra.
2	Nan	Perder.
3	C	Sra.
4	Nan	Senhor.

 # create an instance of AdvancedValueCounts
avc = AdvancedValueCounts ( df = df , column = 'Title' )

# print the AdvancedValueCounts DataFrame
avc . avc_df

	razão	contar
Título
Senhor.	0,580247	517
Perder.	0,204265	182
Sra.	0.140292	125
Mestre.	0,044893	40
_n / D	0,007856	7
Rev.	0,006734	6
Principal.	0,002245	2
Col.	0,002245	2
Mlle.	0,002245	2
Condessa.	0,001122	1
Capitão	0,001122	1
EM.	0,001122	1
Senhor.	0,001122	1
Senhora.	0,001122	1
Mme.	0,001122	1
Vestir.	0,001122	1
Jonkheer.	0,001122	1

Definir min_group_count para 5 para agrupar pequenos grupos em grupo '_other'

 avc . min_group_count = 5
avc . avc_df

	razão	contar
Título
Senhor.	0,580247	517
Perder.	0,204265	182
Sra.	0.140292	125
Mestre.	0,044893	40
_outro	0,015713	14
_n / D	0,007856	7
Rev.	0,006734	6

Parâmetros da classe AdvancedValueCounts para ajustar para pequenos grupos para uma única coluna:

 dropna : bool = False
min_group_count : int = 1 # does not effect NA or the '_other' group
min_group_ratio : float = 0 # does not effect NA or the '_other' group

Também é possível usar column em combinação com o parâmetro groupy_col: str = None para imitar o comportamento de df.groupby(groupby_col)[column].value_counts()

 avc_grouped = AdvancedValueCounts ( df = df , column = 'Title' , groupby_col = 'CabinArea' )
avc_grouped . avc_df

		contar	subgrupo_ratio	subgr_r_diff_subgr_all	r_vs_total
CabinAea	Título
UM	Col.	1	0,066667	0,064422	0,001122
	Senhora.	1	0,066667	0,065544	0,001122
	Mestre.	1	0,066667	0,021773	0,001122
	Senhor.	11	0,733333	0.153086	0,012346
	Senhor.	1	0,066667	0,065544	0,001122
...	...	...	...	...	...
_n / D	Sra.	81	0.117904	-0.022388	0.090909
	EM.	1	0,001456	0,000333	0,001122
	Rev.	6	0,008734	0,002000	0,006734
	_n / D	4	0,005822	-0.002034	0,004489
	_total	687	1.000000	0,000000	0.771044

74 linhas × 4 colunas

Para obter uma visão geral melhor dos dados, defina atributos para ajustar o tamanho do grupo e arredondar as proporções

 avc_grouped . min_group_ratio = 0.05
avc_grouped . min_subgroup_count = 5
avc_grouped . round_ratio = 3
avc_grouped . avc_df

		contar	subgrupo_ratio	subgr_r_diff_subgr_all	r_vs_total
CabinAea	Título
B	Perder.	14	0,298	0,094	0,016
	Senhor.	16	0,340	-0.240	0,018
	Sra.	10	0,213	0,073	0,011
	_n / D	1	0,021	0,013	0,001
	_outro	6	0,127	0,111	0,007
	_total	47	1.000	0,000	0,053
C	Perder.	12	0,203	-0,001	0,013
	Senhor.	29	0,492	-0,088	0,033
	Sra.	14	0,237	0,097	0,016
	_n / D	1	0,017	0,009	0,001
	_outro	3	0,051	0,035	0,003
	_total	59	1.000	0,000	0,066
_todos	Mestre.	40	0,045	Nan	0,045
	Perder.	182	0,204	Nan	0,204
	Senhor.	517	0,580	Nan	0,580
	Sra.	125	0,140	Nan	0,140
	Rev.	6	0,007	Nan	0,007
	_n / D	7	0,008	Nan	0,008
	_outro	14	0,016	Nan	0,016
	_total	891	1.000	Nan	1.000
_n / D	Mestre.	33	0,048	0,003	0,037
	Perder.	135	0,197	-0,007	0,152
	Senhor.	424	0,617	0,037	0,476
	Sra.	81	0,118	-0,022	0,091
	Rev.	6	0,009	0,002	0,007
	_n / D	4	0,006	-0,002	0,004
	_outro	4	0,006	-0.010	0,004
	_total	687	1.000	0,000	0,771
_outro	Mestre.	5	0,051	0,006	0,006
	Perder.	21	0,214	0,010	0,024
	Senhor.	48	0,490	-0,090	0,054
	Sra.	20	0,204	0,064	0,022
	_n / D	1	0,010	0,002	0,001
	_outro	3	0,031	0,015	0,003
	_total	98	1.000	0,000	0,110

Parâmetros da classe AdvancedValueCounts para ajustar para grupos em um agrupado por AdvancedValueCounts

 # for groupby_col:
dropna : bool = False
max_groups : int = None # does not effect NA or the '_other' group
min_group_count : int = 1 # does not effect NA or the '_other' group
min_group_ratio : float = 0 # does not effect NA or the '_other' group

# for column:
dropna : bool = False
max_subgroups : int = None # does not effect NA or the '_other' group
min_subgroup_count : int = 1 # does not effect NA or the '_other' group
min_subgroup_ratio : float = 0 # does not effect NA or the '_other' group
min_subgroup_ratio_vs_total : float = 0 # does not effect NA or the '_other' group

Para obter um enredo do AdvancedValueCounts.avc_df :

 avc_grouped . get_plot ( normalize = True ) # normalize = True is default value 

Para obter um DataFrame sem o Summary_Statistics como '_all' e '_total' :

 avc_grouped . unsummerized_df

		contar	subgrupo_ratio	subgr_r_diff_subgr_all	r_vs_total
CabinAea	Título
B	Perder.	14	0,298	0,094	0,016
	Senhor.	16	0,340	-0.240	0,018
	Sra.	10	0,213	0,073	0,011
	_n / D	1	0,021	0,013	0,001
	_outro	6	0,127	0,111	0,007
C	Perder.	12	0,203	-0,001	0,013
	Senhor.	29	0,492	-0,088	0,033
	Sra.	14	0,237	0,097	0,016
	_n / D	1	0,017	0,009	0,001
	_outro	3	0,051	0,035	0,003
_n / D	Mestre.	33	0,048	0,003	0,037
	Perder.	135	0,197	-0,007	0,152
	Senhor.	424	0,617	0,037	0,476
	Sra.	81	0,118	-0,022	0,091
	Rev.	6	0,009	0,002	0,007
	_n / D	4	0,006	-0,002	0,004
	_outro	4	0,006	-0.010	0,004
_outro	Mestre.	5	0,051	0,006	0,006
	Perder.	21	0,214	0,010	0,024
	Senhor.	48	0,490	-0,090	0,054
	Sra.	20	0,204	0,064	0,022
	_n / D	1	0,010	0,002	0,001
	_outro	3	0,031	0,015	0,003

Instalação para colaboradores

 git clone https://github.com/sTomerG/advanced-value-counts.git
cd advanced-value-counts
python3 -m venv .venv

Ative o ambiente virtual

Windows:

 ..venvScriptsactivate

Linux / MacOS:

 source .venv/bin/activate

Instale requisitos

 python -m pip install --upgrade pip
pip install -r requirements/requirements.txt

Teste se tudo funciona corretamente

( Deprecationwarnings são esperados)

Com tox

 tox

Sem tox

 pip install -e .
pytest