chonkie
v0.2.1.post1
مكتبة قطع القطع التي لا معنى لها وهي خفيفة الوزن ، وسرقة ، وعلى استعداد لشونك نصوصك
التثبيت • الاستخدام • الطرق المدعومة • المعايير • الوثائق • الاقتباس
لذلك وجدت نفسي أصنع روبوتًا آخر للخراب (للمرة 2342148) وفي الوقت نفسه ، أشرح لصغري حول سبب استخدامنا للتشكيل في روبوتاتنا الخارقة ، فقط لأدرك أنه لا بد لي من كتابة التضخيم مرة أخرى إلا إذا كنت أستخدم مكتبة البرمجيات المتضخمة X أو المكتبة التي لا ميزاتها للغاية Y. لماذا لا يمكنني الحصول على شيء ما على حق ، اوغ؟
لا يمكنني فقط تثبيت واستيراد وتشغيل الضرب ولا داعي للقلق بشأن التبعيات أو الانتفاخ أو السرعة أو العوامل الأخرى؟
حسنا ، مع تشونكي يمكنك! (Chonkie Boi هو Gud Boi)
ميزة غنية : كل ما تحتاجه من أي وقت مضى
سهل الاستخدام : تثبيت ، استيراد ، تشونك
⚡ سريع : تشونك بسرعة الضوء! حديقة الحيوان
دعم واسع : يدعم جميع Tokenizer Chonks المفضلة لديك
؟ الوزن الخفيف : لا ينفخ ، فقط تشونك
؟ Mascot Cute Chonk : PSST إنه فرس النهر بيدو راجع للشغل
❤ مكتبة بيثون المفضلة لدى موتو موتو
ما الذي تنتظره ، فقط تشونك !
لتثبيت Chonkie ، ببساطة تشغيل:
pip install chonkie يتبع Chonkie القاعدة للحصول على الحد الأدنى من عمليات تثبيت Defualt ، أو اقرأ المستندات لمعرفة التثبيت الخاص بك على chunker المطلوبة ، أو ببساطة تثبيت all إذا كنت لا تريد التفكير في الأمر (غير موصى به).
pip install chonkie[all]إليك مثال أساسي لتبدأ:
# First import the chunker you want from Chonkie
from chonkie import TokenChunker
# Import your favorite tokenizer library
# Also supports AutoTokenizers, TikToken and AutoTikTokenizer
from tokenizers import Tokenizer
tokenizer = Tokenizer . from_pretrained ( "gpt2" )
# Initialize the chunker
chunker = TokenChunker ( tokenizer )
# Chunk some text
chunks = chunker ( "Woah! Chonkie, the chunking library is so cool! I love the tiny hippo hehe." )
# Access chunks
for chunk in chunks :
print ( f"Chunk: { chunk . text } " )
print ( f"Tokens: { chunk . token_count } " )المزيد من استخدامات المثال المقدمة داخل المستندات
يوفر Chonkie العديد من الأجبان لمساعدتك في تقسيم النص بكفاءة لتطبيقات RAG. إليك نظرة عامة سريعة على الأجزاء المتاحة:
المزيد عن هذه الأساليب والنهج التي اتخذت داخل المستندات
"قد أكون SMOL Hippo ، لكنني أحزم لكمة!" ؟
إليك نظرة خاطفة سريعة على كيفية أداء Chonkie:
مقاس ؟
السرعة ⚡
تحقق من معاييرنا التفصيلية لنرى كيف يتنافس تشونكي على المسابقة! ؟ ؟
تود تشونكي أن تشونك طريقها من خلال شكر خاص لجميع المستخدمين والمساهمين الذين ساعدوا في جعل هذه المكتبة ما هي عليه اليوم! ساعدت ملاحظاتك وتقارير الإصدار والتحسينات على جعل Chonkie هو Chonkiest الذي يمكن أن يكون.
وبالطبع ، شكر خاص لموتو موتو لاعتماد تشونكي مع اقتباسه الشهير:
"أنا أحبهم بشكل كبير ، أحبهم تشونكي." ~ موتو موتو
إذا كنت تستخدم Chonkie في بحثك ، فيرجى الاستشهاد به على النحو التالي:
@misc{chonkie2024,
author = {Minhas, Bhavnick},
title = {Chonkie: A Fast Feature-full Chunking Library for RAG Bots},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/bhavnick/chonkie}},
}
