federleicht

فيدرليتشت

---

federleicht هي حزمة Python التي توفر ديكور ذاكرة التخزين المؤقت لـ pandas.DataFrame ، باستخدام تنسيق ملف ريشة pyarrow خفيف الوزن وفعال.

تم تصميم federleicht.cache_dataframe لتزيين الوظائف التي تُرجع كائنات pandas.DataFrame . يحفظ Decorator نظام البيانات إلى ملف ريشة على المكالمة الأولى ويقوم بتحميله تلقائيًا على المكالمات اللاحقة في حالة وجود الملف.

الميزات الرئيسية

• تكامل الريشة: حفظ وتحميل pandas.DataFrame دون عناء باستخدام تنسيق الريشة ، والمعروف عن سرعته وبساطته.
• بساطة الديكور: أضف وظائف التخزين المؤقت إلى وظائفك مع خط ديكور واحد.
• التخزين المؤقت الفعال: تجنب الحسابات الزائدة عن طريق إعادة استخدام النتائج المخبأة.

ذاكرة التخزين المؤقت انتهاء الصلاحية

لتنفيذ انتهاء ذاكرة التخزين المؤقت ، يتطلب federleicht جميع وسيطات الوظيفة المزينة لتكون قابلة للتسلسل. ستنتهي ذاكرة التخزين المؤقت في ظل الشروط التالية:

• حساسية الوسيطة: ستنتهي صلاحية ذاكرة التخزين المؤقت إذا كان الوسيطات ( args / kwargs ) لتغيير الوظيفة المزينة.
• عندما يتم تمرير كائن os.PathLike كوسيطة ، ستنتهي صلاحية ذاكرة التخزين المؤقت إذا تغير حجم الملف و / أو وقت التعديل.
• الكشف عن تغيير الكود: سوف تنتهي صلاحية ذاكرة التخزين المؤقت إذا تغير تنفيذ / رمز الوظيفة المزينة أثناء التطوير.
• انتهاء الصلاحية القائمة على الوقت: ستنتهي مخبأ عندما يكون أكبر من timedelta معين.
• بالإضافة إلى أنواع البيانات المدمجة غير القابلة للتغيير ، يتم دعم الأنواع التالية من الوسيطات:
  • os.PathLike
  • pandas.DataFrame
  • pandas.Series
  • numpy.ndarray
  • datetime.datetime
  • types.FunctionType

تثبيت

تثبيت Federleicht من Pypi:

pip install federleicht

عادة ، يتم استخدام md5 لتجزئة الوسائط ، ولكن حتى بالنسبة للتجزئة الأسرع ، يمكنك تجربة xxhash كاعتماد اختياري:

pip install federleicht[xxhash]

الاستخدام

هذا مثال سريع:

 import pandas as pd
from federleicht import cache_dataframe

@ cache_dataframe
def generate_large_dataframe ():
    # Simulate a heavy computation
    return pd . DataFrame ({ "col1" : range ( 10000 ), "col2" : range ( 10000 )})

df = generate_large_dataframe ()

معيار

• ملف : eartquakes-1990-2023.csv
• الحجم : 494.8 ميغابايت
• الخطوط : 3،445،752

الوظائف التي يتم استخدامها لقياس أداء ديكور cache_dataframe .

 def read_data ( file : str , ** kwargs ) -> pd . DataFrame :
    """
    Read the earthquake dataset from a CSV file to Benchmark cache.

    Perform some data type conversions and return the DataFrame.
    """
    df = pd . read_csv (
        file ,
        header = 0 ,
        dtype = {
            "status" : "category" ,
            "tsunami" : "boolean" ,
            "data_type" : "category" ,
            "state" : "category" ,
        },
        ** kwargs ,
    )

    df [ "time" ] = pd . to_datetime ( df [ "time" ], unit = "ms" )
    df [ "date" ] = pd . to_datetime ( df [ "date" ], format = "mixed" )

    return df

سيتم تخزين pandas.DataFrame بدون قاموس attrs في دليل .pandas_cache وسيتم انتهاء صلاحيته فقط إذا تغير الملف. لمزيد من التفاصيل ، راجع قسم انتهاء مخطط ذاكرة التخزين المؤقت.

 @ cache_dataframe
def read_cache ( file : pathlib . Path , ** kwargs ) -> pd . DataFrame :
    return read_data ( file , ** kwargs )

النتائج القياسية

تعتمد النتائج بشدة على تكوين النظام ونظام الملفات. يتم الحصول على النتائج التالية في:

• OS : Windows
• إصدار OS : 10.0.19044
• بيثون : 3.11.9
• وحدة المعالجة المركزية : AMD64 Family 23 Model 104 STEPPING 1 ، Authenticamd

nrows	read_data [s]	build_cache [s]	read_cache [s]
10000	0.060	0.076	0.037
32170	0.172	0.193	0.033
103493	0.536	0.569	0.067
332943	1.658	1.791	0.143
1071093	5.383	5.465	0.366
3445752	16.750	17.720	1.141

التبعيات

---