federleicht

Federleicht

---

federleicht é um pacote Python que fornece um decorador de cache para pandas.DataFrame , utilizando o formato de arquivo leve e eficiente de penas de pyarrow .

federleicht.cache_dataframe foi projetado para decorar funções que retornam objetos pandas.DataFrame . O decorador salva o quadro de dados em um arquivo de penas na primeira chamada e o carrega automaticamente nas chamadas subsequentes se o arquivo existir.

Principais recursos

• Integração de penas: salve e carregue pandas.DataFrame sem esforço usando o formato de pena, conhecido por sua velocidade e simplicidade.
• Simplicidade do decorador: adicione a funcionalidade de cache às suas funções com uma única linha de decorador.
• Cache eficiente: Evite cálculos redundantes reutilizando os resultados em cache.

Expiração do cache

Para implementar a expiração do cache, federleicht exige que todos os argumentos da função decorada sejam serializáveis. O cache expirará nas seguintes condições:

• Sensibilidade ao argumento: o cache expirará se os argumentos ( args / kwargs ) da função decorada mudarem.
• Quando um objeto os.PathLike é passado como um argumento, o cache expirará se o tamanho do arquivo e / ou o tempo de modificação mudarem.
• Detecção de alteração de código: o cache expirará se a implementação / código das funções decoradas mudar durante o desenvolvimento.
• Expiração baseada no tempo: o cache expirará quando for mais antigo que um determinado timedelta .
• Além dos tipos de dados imutáveis ​​internos, os seguintes tipos de argumentos são suportados:
  • os.PathLike
  • pandas.DataFrame
  • pandas.Series
  • numpy.ndarray
  • datetime.datetime
  • types.FunctionType

Instalação

Instale Federleicht da Pypi:

pip install federleicht

Normalmente, md5 é usado para hash os argumentos, mas para hash ainda mais rápido, você pode tentar xxhash como uma dependência opcional:

pip install federleicht[xxhash]

Uso

Aqui está um exemplo rápido:

 import pandas as pd
from federleicht import cache_dataframe

@ cache_dataframe
def generate_large_dataframe ():
    # Simulate a heavy computation
    return pd . DataFrame ({ "col1" : range ( 10000 ), "col2" : range ( 10000 )})

df = generate_large_dataframe ()

Benchmark

• Arquivo : eartquakes-1990-2023.csv
• Tamanho : 494,8 MB
• Linhas : 3.445.752

Funções usadas para comparar o desempenho do decorador cache_dataframe .

 def read_data ( file : str , ** kwargs ) -> pd . DataFrame :
    """
    Read the earthquake dataset from a CSV file to Benchmark cache.

    Perform some data type conversions and return the DataFrame.
    """
    df = pd . read_csv (
        file ,
        header = 0 ,
        dtype = {
            "status" : "category" ,
            "tsunami" : "boolean" ,
            "data_type" : "category" ,
            "state" : "category" ,
        },
        ** kwargs ,
    )

    df [ "time" ] = pd . to_datetime ( df [ "time" ], unit = "ms" )
    df [ "date" ] = pd . to_datetime ( df [ "date" ], format = "mixed" )

    return df

O pandas.DataFrame sem o dicionário attrs será armazenado em cache no diretório .pandas_cache e só expirará se o arquivo for alterado. Para mais detalhes, consulte a seção de expiração do cache.

 @ cache_dataframe
def read_cache ( file : pathlib . Path , ** kwargs ) -> pd . DataFrame :
    return read_data ( file , ** kwargs )

Resultados de referência

Os resultados dependem fortemente da configuração do sistema e do sistema de arquivos. Os seguintes resultados são obtidos em:

• OS : Windows
• Versão do sistema operacional : 10.0.19044
• Python : 3.11.9
• CPU : AMD64 FAMÍLIA 23 MODELO 104 EXTEPING 1, Authenticamd

NROWS	read_data [s]	build_cache [s]	read_cache [s]
10000	0,060	0,076	0,037
32170	0,172	0,193	0,033
103493	0,536	0,569	0,067
332943	1.658	1.791	0,143
1071093	5.383	5.465	0,366
3445752	16.750	17.720	1.141

Dependências

---