federleicht

Federleicht

---

federleicht是一個Python軟件包，可為pandas.DataFrame提供緩存裝飾，並使用輕巧有效的pyarrow羽毛文件格式。

federleicht.cache_dataframe旨在裝飾返回pandas.DataFrame對象的功能。裝飾器將數據框保存到第一個呼叫上的羽毛文件中，並在文件存在時自動加載其在後續呼叫上加載。

關鍵功能

• 羽毛集成：保存和加載pandas.DataFrame毫不費力地使用以速度和簡單性而聞名的羽毛格式。
• Decorator簡單性：通過單個裝飾器系列在功能中添加緩存功能。
• 有效的緩存：通過重複使用緩存結果來避免冗餘計算。

緩存到期

要實施緩存到期， federleicht要求裝飾功能的所有參數都是可序列化的。緩存將在以下條件下到期：

• 參數敏感性：如果裝飾函數的參數（ args / kwargs ）更改，緩存將到期。
• 當將os.PathLike對像作為參數傳遞時，如果文件大小和 /或修改時間更改，緩存將到期。
• 代碼更改檢測：如果裝飾功能的實現 /代碼在開發過程中變化，則緩存將到期。
• 基於時間的到期：當緩存比給定的timedelta年齡大時會過期。
• 除了不可變的內置數據類型外，還支持以下參數類型：
  • os.PathLike
  • pandas.DataFrame
  • pandas.Series
  • numpy.ndarray
  • datetime.datetime
  • types.FunctionType

安裝

從PYPI安裝Federleicht：

pip install federleicht

通常， md5用於哈希參數，但是對於更快的哈希，您可以嘗試xxhash作為可選依賴性：

pip install federleicht[xxhash]

用法

這是一個快速示例：

 import pandas as pd
from federleicht import cache_dataframe

@ cache_dataframe
def generate_large_dataframe ():
    # Simulate a heavy computation
    return pd . DataFrame ({ "col1" : range ( 10000 ), "col2" : range ( 10000 )})

df = generate_large_dataframe ()

基準

• 文件：eartquakes-1990-2023.csv
• 尺寸：494.8 MB
• 線：3,445,752

用於基準cache_dataframe裝飾器的性能的功能。

 def read_data ( file : str , ** kwargs ) -> pd . DataFrame :
    """
    Read the earthquake dataset from a CSV file to Benchmark cache.

    Perform some data type conversions and return the DataFrame.
    """
    df = pd . read_csv (
        file ,
        header = 0 ,
        dtype = {
            "status" : "category" ,
            "tsunami" : "boolean" ,
            "data_type" : "category" ,
            "state" : "category" ,
        },
        ** kwargs ,
    )

    df [ "time" ] = pd . to_datetime ( df [ "time" ], unit = "ms" )
    df [ "date" ] = pd . to_datetime ( df [ "date" ], format = "mixed" )

    return df

pandas.DataFrame沒有attrs字典的dataframe將在.pandas_cache Directory中被緩存，並且只有在文件更改時才會到期。有關更多詳細信息，請參見“緩存到期”部分。

 @ cache_dataframe
def read_cache ( file : pathlib . Path , ** kwargs ) -> pd . DataFrame :
    return read_data ( file , ** kwargs )

基準結果

結果在很大程度上取決於系統配置和文件系統。獲得以下結果：

• OS ：Windows
• OS版本：10.0.19044
• Python ：3.11.9
• CPU ：AMD64家庭23型號104步進1，AuthenticAmd

nrows	read_data [s]	build_cache [s]	read_cache [s]
10000	0.060	0.076	0.037
32170	0.172	0.193	0.033
103493	0.536	0.569	0.067
332943	1.658	1.791	0.143
1071093	5.383	5.465	0.366
3445752	16.750	17.720	1.141

依賴性

---