text
TorchText 0.18
คำเตือน : การพัฒนา Torchtext หยุดลงและการเปิดตัว 0.18 (เมษายน 2024) จะเป็นการเปิดตัวห้องสมุดที่มีเสถียรภาพครั้งสุดท้าย
ที่เก็บนี้ประกอบด้วย:
เราขอแนะนำ Anaconda เป็นระบบการจัดการแพ็คเกจ Python โปรดดู pytorch.org สำหรับรายละเอียดของการติดตั้ง pytorch ต่อไปนี้เป็นเวอร์ชัน torchtext ที่สอดคล้องกันและรุ่น Python ที่รองรับ
| เวอร์ชัน Pytorch | เวอร์ชัน Torchtext | รุ่น Python ที่รองรับ |
|---|---|---|
| สร้างทุกคืน | หลัก | > = 3.8, <= 3.11 |
| 2.3.0 | 0.18.0 | > = 3.8, <= 3.11 |
| 2.2.0 | 0.17.0 | > = 3.8, <= 3.11 |
| 2.1.0 | 0.16.0 | > = 3.8, <= 3.11 |
| 2.0.0 | 0.15.0 | > = 3.8, <= 3.11 |
| 1.13.0 | 0.14.0 | > = 3.7, <= 3.10 |
| 1.12.0 | 0.13.0 | > = 3.7, <= 3.10 |
| 1.11.0 | 0.12.0 | > = 3.6, <= 3.9 |
| 1.10.0 | 0.11.0 | > = 3.6, <= 3.9 |
| 1.9.1 | 0.10.1 | > = 3.6, <= 3.9 |
| 1.9 | 0.10 | > = 3.6, <= 3.9 |
| 1.8.1 | 0.9.1 | > = 3.6, <= 3.9 |
| 1.8 | 0.9 | > = 3.6, <= 3.9 |
| 1.7.1 | 0.8.1 | > = 3.6, <= 3.9 |
| 1.7 | 0.8 | > = 3.6, <= 3.8 |
| 1.6 | 0.7 | > = 3.6, <= 3.8 |
| 1.5 | 0.6 | > = 3.5, <= 3.8 |
| 1.4 | 0.5 | 2.7,> = 3.5, <= 3.8 |
| 0.4 และต่ำกว่า | 0.2.3 | 2.7,> = 3.5, <= 3.8 |
ใช้ Conda:
Conda Install -c Pytorch Torchtext
ใช้ PIP:
PIP ติดตั้ง Torchtext
หากคุณต้องการใช้ Tokenizer ภาษาอังกฤษจาก Spacy คุณต้องติดตั้ง Spacy และดาวน์โหลดรุ่นภาษาอังกฤษ:
PIP ติดตั้ง Spacy Python -m Spacy ดาวน์โหลด en_core_web_sm
หรือคุณอาจต้องการใช้พอร์ตโมเสสโทเคนิเซอร์ใน sacremoses (แยกจาก NLTK) คุณต้องติดตั้ง sacremoses:
PIP ติดตั้ง sacremoses
สำหรับ Torchtext 0.5 และต่ำกว่า sentencepiece :
Conda Install -c Powerai ประโยคชิ้น
ในการสร้าง Torchtext จากแหล่งที่มาคุณต้องใช้คอมไพเลอร์ git , CMake และ C ++ 11 เช่น g++ :
git clone https://github.com/pytorch/text torchtext CD Torchtext Git Submodule Update -Init -Recursive # Linux Python setup.py Clean Install # OSX cc = clang cxx = clang ++ python setup.py clean install ติดตั้ง # หรือ `` python setup.py develop '' หากคุณกำลังทำการแก้ไข
บันทึก
เมื่อสร้างจากแหล่งที่มาตรวจสอบให้แน่ใจว่าคุณมีคอมไพเลอร์ C ++ เช่นเดียวกับที่ใช้ในการสร้าง pytorch วิธีง่ายๆคือการสร้าง pytorch จากแหล่งที่มาและใช้สภาพแวดล้อมเดียวกันเพื่อสร้าง Torchtext หากคุณใช้งานสร้าง Pytorch ยามค่ำคืนให้ชำระเงินสภาพแวดล้อมที่สร้างขึ้นด้วย conda (ที่นี่) และ pip (ที่นี่)
นอกจากนี้ชุดข้อมูลใน Torchtext จะถูกนำมาใช้โดยใช้ไลบรารี TorchData โปรดดูคำแนะนำในการติดตั้งเพื่อดาวน์โหลด nightlies ล่าสุดหรือติดตั้งจากแหล่งที่มา
ค้นหาเอกสารที่นี่
ปัจจุบันโมดูลชุดข้อมูลมี:
ปัจจุบันห้องสมุดประกอบด้วยโมเดลที่ผ่านการฝึกอบรมมาก่อน:
ปัจจุบันโมดูลการแปลงรองรับ tokenizers สคริปต์ได้:
ในการเริ่มต้นด้วย Torchtext ผู้ใช้อาจอ้างถึงบทช่วยสอนต่อไปนี้ที่มีอยู่ในเว็บไซต์ Pytorch
นี่คือห้องสมุดยูทิลิตี้ที่ดาวน์โหลดและเตรียมชุดข้อมูลสาธารณะ เราไม่ได้โฮสต์หรือแจกจ่ายชุดข้อมูลเหล่านี้บัตรกำนัลคุณภาพหรือความยุติธรรมของพวกเขาหรืออ้างว่าคุณมีใบอนุญาตในการใช้ชุดข้อมูล เป็นความรับผิดชอบของคุณในการพิจารณาว่าคุณได้รับอนุญาตให้ใช้ชุดข้อมูลภายใต้ใบอนุญาตของชุดข้อมูลหรือไม่
หากคุณเป็นเจ้าของชุดข้อมูลและต้องการอัปเดตส่วนใดส่วนหนึ่งของมัน (คำอธิบายการอ้างอิง ฯลฯ ) หรือไม่ต้องการให้ชุดข้อมูลของคุณรวมอยู่ในไลบรารีนี้โปรดติดต่อผ่านปัญหา GitHub ขอบคุณสำหรับการสนับสนุนชุมชน ML!
