text
TorchText 0.18
تحذير : تم إيقاف تطوير Torchtext وسيكون الإصدار 0.18 (أبريل 2024) آخر إصدار مستقر للمكتبة.
يتكون هذا المستودع من:
نوصي Anaconda كنظام إدارة حزم Python. يرجى الرجوع إلى pytorch.org للحصول على تفاصيل تثبيت Pytorch. فيما يلي إصدارات torchtext المقابلة وإصدارات Python المدعومة.
| نسخة Pytorch | إصدار Torchtext | دعم Python نسخة |
|---|---|---|
| بناء ليلي | رئيسي | > = 3.8 ، <= 3.11 |
| 2.3.0 | 0.18.0 | > = 3.8 ، <= 3.11 |
| 2.2.0 | 0.17.0 | > = 3.8 ، <= 3.11 |
| 2.1.0 | 0.16.0 | > = 3.8 ، <= 3.11 |
| 2.0.0 | 0.15.0 | > = 3.8 ، <= 3.11 |
| 1.13.0 | 0.14.0 | > = 3.7 ، <= 3.10 |
| 1.12.0 | 0.13.0 | > = 3.7 ، <= 3.10 |
| 1.11.0 | 0.12.0 | > = 3.6 ، <= 3.9 |
| 1.10.0 | 0.11.0 | > = 3.6 ، <= 3.9 |
| 1.9.1 | 0.10.1 | > = 3.6 ، <= 3.9 |
| 1.9 | 0.10 | > = 3.6 ، <= 3.9 |
| 1.8.1 | 0.9.1 | > = 3.6 ، <= 3.9 |
| 1.8 | 0.9 | > = 3.6 ، <= 3.9 |
| 1.7.1 | 0.8.1 | > = 3.6 ، <= 3.9 |
| 1.7 | 0.8 | > = 3.6 ، <= 3.8 |
| 1.6 | 0.7 | > = 3.6 ، <= 3.8 |
| 1.5 | 0.6 | > = 3.5 ، <= 3.8 |
| 1.4 | 0.5 | 2.7 ،> = 3.5 ، <= 3.8 |
| 0.4 وتحت | 0.2.3 | 2.7 ،> = 3.5 ، <= 3.8 |
باستخدام كوندا:
كوندا تثبيت -C pytorch torchtext
باستخدام PIP:
PIP تثبيت torchtext
إذا كنت ترغب في استخدام Tokenizer English من Spacy ، فأنت بحاجة إلى تثبيت Spacy وتنزيل طرازها باللغة الإنجليزية:
PIP تثبيت spacy Python -M Spacy Download EN_CORE_WEB_SM
بدلاً من ذلك ، قد ترغب في استخدام منفذ Moses Tokenizer في Sacremoses (منقسم من NLTK). يجب عليك تثبيت sacremoses:
PIP تثبيت sacremoses
ل torchtext 0.5 وأقل ، sentencepiece :
Conda Install -C Powerai Sentencepiece
لبناء torchtext من المصدر ، تحتاج إلى git و CMake و c ++ 11 مترجم مثل g++ .:
git clone https://github.com/pytorch/text torchtext CD Torchtext تحديث الجهاز الفرعي git -init -recursive # Linux Python setup.py تثبيت نظيف # OSX cc = clang cxx = clang ++ python setup.py تثبيت تنظيف # أو `python setup.py تطوير" إذا كنت تقوم بإجراء تعديلات.
ملحوظة
عند البناء من المصدر ، تأكد من أن لديك نفس برنامج التحويل البرمجي C ++ كما هو مستخدم لبناء Pytorch. طريقة بسيطة هي بناء Pytorch من المصدر واستخدام نفس البيئة لبناء torchtext. إذا كنت تستخدم البناء الليلي لـ Pytorch ، فقم الخروج بالبيئة التي تم بناؤها باستخدام Conda (هنا) و PIP (هنا).
بالإضافة إلى ذلك ، يتم تنفيذ مجموعات البيانات في Torchtext باستخدام مكتبة Torchdata. يرجى إلقاء نظرة على تعليمات التثبيت لتنزيل أحدث خطوط ليلية أو التثبيت من المصدر.
ابحث عن الوثائق هنا.
تحتوي وحدة مجموعات البيانات حاليًا على:
تتكون المكتبة حاليًا من نماذج متابعة مسبقًا:
تدعم وحدة التحويلات حاليًا المميزات القابلة للنص:
للبدء في TorchText ، قد يشير المستخدمون إلى البرنامج التعليمي التالي المتاح على موقع Pytorch.
هذه مكتبة أدوات تنزيل وإعداد مجموعات البيانات العامة. نحن لا نستضيف أو نوزع مجموعات البيانات هذه ، ونهتم بجودتها أو الإنصاف ، أو ندعي أن لديك ترخيصًا لاستخدام مجموعة البيانات. تقع على عاتقك مسؤولية تحديد ما إذا كان لديك إذن لاستخدام مجموعة البيانات ضمن ترخيص مجموعة البيانات.
إذا كنت مالكًا لمجموعة البيانات وترغب في تحديث أي جزء منه (الوصف ، الاقتباس ، وما إلى ذلك) ، أو لا ترغب في تضمين مجموعة البيانات الخاصة بك في هذه المكتبة ، يرجى الاتصال من خلال مشكلة github. شكرا لمساهمتك في مجتمع ML!
