federleicht

Federleicht

---

federleicht - это пакет Python, предоставляющий декоратор кеша для pandas.DataFrame , используя легкий и эффективный формат файла перьев pyarrow .

federleicht.cache_dataframe предназначен для украшения функций, которые возвращают объекты pandas.DataFrame . Декоратор сохраняет DataFrame в файл перьев на первом вызове и автоматически загружает его на последующие вызовы, если файл существует.

Ключевые функции

• Интеграция перьев: сохранить и загружать pandas.DataFrame без усилий, используя формат перья, известный своей скоростью и простотой.
• Decorator Simplicity: добавьте функциональность кэширования в ваши функции с помощью одной линии декоратора.
• Эффективное кэширование: избегайте избыточных вычислений, повторно используя кэшированные результаты.

Кэш истекает

Чтобы реализовать истечение срока действия кэша, federleicht требует, чтобы все аргументы декорированной функции были сериализуемыми. Кэш истекает в следующих условиях:

• Чувствительность аргумента: кэш истекает, если аргументы ( args / kwargs ) изменения украшенной функции.
• Когда объект os.PathLike передается в качестве аргумента, кэш истекает, если изменится размер файла и / или время изменения.
• Обнаружение изменения кода: кэш истекает, если реализация / код декорированной функции изменяется во время разработки.
• Основанный на времени истечение: кеш истекает, когда он будет старше, чем данная timedelta .
• В дополнение к неизменным встроенным типам данных поддерживаются следующие типы аргументов:
  • os.PathLike
  • pandas.DataFrame
  • pandas.Series
  • numpy.ndarray
  • datetime.datetime
  • types.FunctionType

Установка

Установите FederLeicht из PYPI:

pip install federleicht

Обычно md5 используется для хэширования аргументов, но даже для более быстрого хэширования вы можете попробовать xxhash в качестве дополнительной зависимости:

pip install federleicht[xxhash]

Использование

Вот быстрый пример:

 import pandas as pd
from federleicht import cache_dataframe

@ cache_dataframe
def generate_large_dataframe ():
    # Simulate a heavy computation
    return pd . DataFrame ({ "col1" : range ( 10000 ), "col2" : range ( 10000 )})

df = generate_large_dataframe ()

Эталон

• Файл : Eartquakes-1990-2023.csv
• Размер : 494,8 МБ
• Линии : 3445,752

Функции, которые используются для оценки производительности декоратора cache_dataframe .

 def read_data ( file : str , ** kwargs ) -> pd . DataFrame :
    """
    Read the earthquake dataset from a CSV file to Benchmark cache.

    Perform some data type conversions and return the DataFrame.
    """
    df = pd . read_csv (
        file ,
        header = 0 ,
        dtype = {
            "status" : "category" ,
            "tsunami" : "boolean" ,
            "data_type" : "category" ,
            "state" : "category" ,
        },
        ** kwargs ,
    )

    df [ "time" ] = pd . to_datetime ( df [ "time" ], unit = "ms" )
    df [ "date" ] = pd . to_datetime ( df [ "date" ], format = "mixed" )

    return df

pandas.DataFrame без словаря attrs будет кэширован в каталоге .pandas_cache и истекает только в случае изменения файла. Для получения более подробной информации см. Раздел истечения срока действия кеша.

 @ cache_dataframe
def read_cache ( file : pathlib . Path , ** kwargs ) -> pd . DataFrame :
    return read_data ( file , ** kwargs )

Контрольные результаты

Результаты сильно зависят от конфигурации системы и файловой системы. Следующие результаты получены на:

• ОС : Windows
• Версия ОС : 10.0.19044
• Python : 3.11.9
• ЦП : AMD64 Family 23 Модель 104 Stepping 1, Authenticamd

NROS	read_data [s]	build_cache [s]	read_cache [s]
10000	0,060	0,076	0,037
32170	0,172	0,193	0,033
103493	0,536	0,569	0,067
332943	1.658	1.791	0,143
1071093	5.383	5.465	0,366
3445752	16.750	17.720	1.141

Зависимости

---