federleicht

Federleicht

---

federleicht เป็นแพ็คเกจ Python ที่ให้บริการตกแต่งแคชสำหรับ pandas.DataFrame โดยใช้รูปแบบไฟล์ขนนก pyarrow ที่มีน้ำหนักเบาและมีประสิทธิภาพ

federleicht.cache_dataframe ได้รับการออกแบบมาเพื่อตกแต่งฟังก์ชั่นที่ส่งคืนวัตถุ pandas.DataFrame มัณฑนากรที่จะบันทึก dataframe ไปยังไฟล์ขนนกในการโทรครั้งแรกและโหลดโดยอัตโนมัติเมื่อมีการโทรที่ตามมาหากไฟล์มีอยู่

คุณสมบัติที่สำคัญ

• การรวมขนนก: บันทึกและโหลด pandas.DataFrame ได้อย่างง่ายดายโดยใช้รูปแบบขนนกที่รู้จักกันดีในเรื่องความเร็วและความเรียบง่าย
• ความเรียบง่ายของมัณฑนากร: เพิ่มฟังก์ชั่นการแคชให้กับฟังก์ชั่นของคุณด้วยสายมัณฑนากรเดียว
• การแคชที่มีประสิทธิภาพ: หลีกเลี่ยงการคำนวณซ้ำซ้อนโดยนำผลลัพธ์ที่แคชกลับมาใช้ซ้ำ

แคชหมดอายุ

ในการใช้แคชหมดอายุ federleicht ต้องการข้อโต้แย้งทั้งหมดของฟังก์ชั่นที่ตกแต่งเพื่อให้เป็นอนุกรม แคชจะหมดอายุภายใต้เงื่อนไขดังต่อไปนี้:

• ความไวของอาร์กิวเมนต์: แคชจะหมดอายุหากอาร์กิวเมนต์ ( args / kwargs ) ของการเปลี่ยนแปลงฟังก์ชั่นการตกแต่ง
• เมื่อวัตถุ os.PathLike ถูกส่งผ่านเป็นอาร์กิวเมนต์แคชจะหมดอายุหากขนาดไฟล์และ / หรือการเปลี่ยนแปลงเวลาเปลี่ยนไป
• การตรวจจับการเปลี่ยนรหัส: แคชจะหมดอายุหากการใช้งาน / รหัสของฟังก์ชั่นการตกแต่งเปลี่ยนแปลงระหว่างการพัฒนา
• การหมดอายุตามเวลา: แคชจะหมดอายุเมื่อเก่ากว่า timedelta ที่กำหนด
• นอกเหนือจากประเภทข้อมูลในตัวที่ไม่เปลี่ยนรูป
  • os.PathLike
  • pandas.DataFrame
  • pandas.Series
  • numpy.ndarray
  • datetime.datetime
  • types.FunctionType

การติดตั้ง

ติดตั้ง federleicht จาก PYPI:

pip install federleicht

โดยปกติ md5 จะใช้สำหรับการแฮชอาร์กิวเมนต์ แต่สำหรับการแฮชที่เร็วกว่าคุณสามารถลอง xxhash เป็นการพึ่งพาตัวเลือก:

pip install federleicht[xxhash]

การใช้งาน

นี่คือตัวอย่างด่วน:

 import pandas as pd
from federleicht import cache_dataframe

@ cache_dataframe
def generate_large_dataframe ():
    # Simulate a heavy computation
    return pd . DataFrame ({ "col1" : range ( 10000 ), "col2" : range ( 10000 )})

df = generate_large_dataframe ()

เกณฑ์มาตรฐาน

• ไฟล์ : Eartquakes-1990-2023.CSV
• ขนาด : 494.8 MB
• บรรทัด : 3,445,752

ฟังก์ชั่นที่ใช้ในการเปรียบเทียบประสิทธิภาพของมัณฑนากร cache_dataframe

 def read_data ( file : str , ** kwargs ) -> pd . DataFrame :
    """
    Read the earthquake dataset from a CSV file to Benchmark cache.

    Perform some data type conversions and return the DataFrame.
    """
    df = pd . read_csv (
        file ,
        header = 0 ,
        dtype = {
            "status" : "category" ,
            "tsunami" : "boolean" ,
            "data_type" : "category" ,
            "state" : "category" ,
        },
        ** kwargs ,
    )

    df [ "time" ] = pd . to_datetime ( df [ "time" ], unit = "ms" )
    df [ "date" ] = pd . to_datetime ( df [ "date" ], format = "mixed" )

    return df

pandas.DataFrame ที่ไม่มีพจนานุกรม attrs จะถูกแคชในไดเรกทอรี .pandas_cache และจะหมดอายุเฉพาะเมื่อไฟล์เปลี่ยนไป สำหรับรายละเอียดเพิ่มเติมดูที่ส่วนของแคชหมดอายุ

 @ cache_dataframe
def read_cache ( file : pathlib . Path , ** kwargs ) -> pd . DataFrame :
    return read_data ( file , ** kwargs )

ผลการวัดผล

ผลลัพธ์ขึ้นอยู่กับการกำหนดค่าระบบและระบบไฟล์ ผลลัพธ์ต่อไปนี้ได้รับบน:

• OS : Windows
• เวอร์ชัน OS : 10.0.19044
• Python : 3.11.9
• CPU : AMD64 Family 23 Model 104 Stepping 1, Authenticamd

การเดินเล่น	read_data [s]	build_cache [s]	read_cache [s]
10,000	0.060	0.076	0.037
32170	0.172	0.193	0.033
103493	0.536	0.569	0.067
332943	1.658	1.791	0.143
1071093	5.383	5.465	0.366
3445752	16.750	17.720	1.141

การพึ่งพาอาศัยกัน

---