federleicht

Federleeicht

---

federleicht ist ein Python -Paket, das einen Cache -Dekorateur für pandas.DataFrame bietet und das leichte und effiziente pyarrow -Feder -Dateiformat verwendet.

federleicht.cache_dataframe wurde entwickelt, um Funktionen zu dekorieren, die pandas.DataFrame -Objekte zurückgeben. Der Dekorateur speichert den Datenrahmen beim ersten Anruf in einer Federdatei und lädt ihn automatisch bei nachfolgenden Aufrufen, wenn die Datei vorliegt.

Schlüsselmerkmale

• Federintegration: Speichern und laden Sie pandas.DataFrame
• Einfachheit der Dekorateurin: Fügen Sie Ihren Funktionen mit einer einzelnen Dekorateure -Linie Caching -Funktionalität hinzu.
• Effizientes Caching: Vermeiden Sie redundante Berechnungen durch Wiederverwendung von zwischengespeicherten Ergebnissen.

Cache -Ablauf

Um die Cache -Ablauf zu implementieren, verlangt federleicht alle Argumente der dekorierten Funktion, um serialisierbar zu sein. Der Cache läuft unter den folgenden Bedingungen aus:

• Argumentempfindlichkeit: Der Cache verfällt, wenn sich die Argumente ( args / kwargs ) der dekorierten Funktion ändern.
• Wenn ein os.PathLike Objekt als Argument übergeben wird, läuft der Cache ab, wenn sich die Dateigröße und / oder die Änderungszeit ändert.
• Erkennung von Codeänderungen: Der Cache läuft ab, wenn die Implementierung / der Code der dekorierten Funktion während der Entwicklung ändert.
• Zeitbasiertes Ablauf: Cache verfällt, wenn es älter ist als eine bestimmte timedelta .
• Zusätzlich zu den unveränderlichen integrierten Datentypen werden die folgenden Typen für Argumente unterstützt:
  • os.PathLike
  • pandas.DataFrame
  • pandas.Series
  • numpy.ndarray
  • datetime.datetime
  • types.FunctionType

Installation

Installieren Sie Federleicht von PYPI:

pip install federleicht

Normalerweise wird md5 verwendet, um die Argumente zu haben, aber für noch schnelleres Hashing können Sie xxhash als optionale Abhängigkeit versuchen:

pip install federleicht[xxhash]

Verwendung

Hier ist ein kurzes Beispiel:

 import pandas as pd
from federleicht import cache_dataframe

@ cache_dataframe
def generate_large_dataframe ():
    # Simulate a heavy computation
    return pd . DataFrame ({ "col1" : range ( 10000 ), "col2" : range ( 10000 )})

df = generate_large_dataframe ()

Benchmark

• Datei : Eartquakes-1990-2023.csv
• Größe : 494,8 MB
• Zeilen : 3.445.752

Funktionen, mit denen die Leistung des Dekorators cache_dataframe bewertet wird.

 def read_data ( file : str , ** kwargs ) -> pd . DataFrame :
    """
    Read the earthquake dataset from a CSV file to Benchmark cache.

    Perform some data type conversions and return the DataFrame.
    """
    df = pd . read_csv (
        file ,
        header = 0 ,
        dtype = {
            "status" : "category" ,
            "tsunami" : "boolean" ,
            "data_type" : "category" ,
            "state" : "category" ,
        },
        ** kwargs ,
    )

    df [ "time" ] = pd . to_datetime ( df [ "time" ], unit = "ms" )
    df [ "date" ] = pd . to_datetime ( df [ "date" ], format = "mixed" )

    return df

Der pandas.DataFrame ohne das attrs -Wörterbuch wird im Verzeichnis .pandas_cache zwischengespeichert und läuft nur aus, wenn sich die Datei ändert. Weitere Informationen finden Sie im Abschnitt Cache Abiry.

 @ cache_dataframe
def read_cache ( file : pathlib . Path , ** kwargs ) -> pd . DataFrame :
    return read_data ( file , ** kwargs )

Benchmark -Ergebnisse

Die Ergebnisse hängen stark von der Systemkonfiguration und dem Dateisystem ab. Die folgenden Ergebnisse werden unter:

• Betriebssystem : Windows
• Betriebssystemversion : 10.0.19044
• Python : 3.11.9
• CPU : AMD64 -Familie 23 Modell 104 Stepping 1, Authenticamd

Nrows	read_data [s]	Build_cache [s]	read_cache [s]
10000	0,060	0,076	0,037
32170	0,172	0,193	0,033
103493	0,536	0,569	0,067
332943	1.658	1.791	0,143
1071093	5.383	5.465	0,366
3445752	16.750	17.720	1.141

Abhängigkeiten

---