chonkie
v0.2.1.post1
ห้องสมุดผ้าขี้ริ้วไร้สาระที่ไม่มีน้ำหนักเบาเร็วเร็วและพร้อมที่จะใช้ข้อความของคุณ
การติดตั้ง•การใช้งาน•วิธีการที่รองรับ•มาตรฐาน•เอกสารประกอบ•การอ้างอิง
ดังนั้นฉันจึงพบว่าตัวเองกำลังทำบอทผ้าขี้ริ้วอีกครั้ง (เป็นครั้งที่ 2342148) และในขณะเดียวกันอธิบายให้กับรุ่นน้องของฉันเกี่ยวกับสาเหตุที่เราควรใช้ chunking ในบอทเศษผ้าของเราเพียงเพื่อตระหนักว่าฉันจะต้อง เขียน chunking ทั้งหมดอีกครั้งเว้นแต่ฉันจะใช้ห้องสมุดซอฟต์แวร์ bloated x
ฉันไม่สามารถติดตั้งนำเข้าและเรียกใช้ chunking และไม่ต้องกังวลเกี่ยวกับการพึ่งพาการขยายตัวความเร็วหรือปัจจัยอื่น ๆ ?
ด้วย Chonkie คุณทำได้! (Chonkie Boi เป็น gud boi)
ฟีเจอร์ที่อุดมไปด้วย : chonks ทั้งหมดที่คุณต้องการ
ใช้งานง่าย : ติดตั้งนำเข้า chonk
⚡เร็ว : chonk ด้วยความเร็วแสง! Zooooom
การสนับสนุนที่กว้าง : รองรับ tokenizer chonks ที่คุณชื่นชอบทั้งหมด
- น้ำหนักเบา : ไม่มีบวมเพียงแค่ chonk
- Mascot chonk น่ารัก : psst มันเป็น pygmy hippo btw
❤ห้องสมุด Python ที่ชื่นชอบของ Moto Moto
คุณกำลังรออะไรอยู่ แค่ chonk มัน !
ในการติดตั้ง Chonkie เพียงแค่เรียกใช้:
pip install chonkie Chonkie ปฏิบัติตามกฎเพื่อให้มีการติดตั้ง defualt น้อยที่สุดอ่านเอกสารเพื่อทราบการติดตั้งสำหรับ chunker ที่คุณต้องการหรือเพียงแค่ติดตั้ง all หากคุณไม่ต้องการคิดเกี่ยวกับมัน (ไม่แนะนำ)
pip install chonkie[all]นี่คือตัวอย่างพื้นฐานที่จะเริ่มต้น:
# First import the chunker you want from Chonkie
from chonkie import TokenChunker
# Import your favorite tokenizer library
# Also supports AutoTokenizers, TikToken and AutoTikTokenizer
from tokenizers import Tokenizer
tokenizer = Tokenizer . from_pretrained ( "gpt2" )
# Initialize the chunker
chunker = TokenChunker ( tokenizer )
# Chunk some text
chunks = chunker ( "Woah! Chonkie, the chunking library is so cool! I love the tiny hippo hehe." )
# Access chunks
for chunk in chunks :
print ( f"Chunk: { chunk . text } " )
print ( f"Tokens: { chunk . token_count } " )ตัวอย่างเพิ่มเติมที่ให้ไว้ในเอกสาร
Chonkie มี chunkers หลายตัวเพื่อช่วยคุณแยกข้อความของคุณอย่างมีประสิทธิภาพสำหรับแอปพลิเคชัน RAG นี่คือภาพรวมอย่างรวดเร็วของ chunkers ที่มีอยู่:
เพิ่มเติมเกี่ยวกับวิธีการเหล่านี้และวิธีการที่ใช้ในเอกสาร
"ฉันอาจจะเป็น smol hippo แต่ฉันอัดหมัด!" -
นี่คือการมองอย่างรวดเร็วว่า Chonkie แสดงอย่างไร:
ขนาด ?
ความเร็ว ⚡
ตรวจสอบเกณฑ์มาตรฐานโดยละเอียดของเราเพื่อดูว่าการแข่งขัน Chonkie ผ่านการแข่งขันอย่างไร! ??
Chonkie ขอขอบคุณผู้ใช้และผู้สนับสนุนทุกคนที่ช่วยให้ห้องสมุดนี้เป็นสิ่งที่มันเป็นในวันนี้! ความคิดเห็นของคุณรายงานปัญหาและการปรับปรุงของคุณช่วยให้ Chonkie เป็น chonkiest ที่สามารถทำได้
และแน่นอนขอบคุณเป็นพิเศษสำหรับ Moto Moto สำหรับการรับรอง Chonkie ด้วยคำพูดที่มีชื่อเสียงของเขา:
"ฉันชอบพวกเขาใหญ่ฉันชอบพวกเขา Chonkie" ~ moto moto
หากคุณใช้ Chonkie ในการวิจัยของคุณโปรดอ้างอิงดังนี้:
@misc{chonkie2024,
author = {Minhas, Bhavnick},
title = {Chonkie: A Fast Feature-full Chunking Library for RAG Bots},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {url{https://github.com/bhavnick/chonkie}},
}
