fewshot textclassification
1.0.0
اللعب مع نهج SetFit لنقل قليلة لتصنيف النص.
تحرير: قمت أيضًا ببعض التجارب مع التعلم النشط ، لذا أصبح لدي الآن نشط. سأقوم بتنظيمه أفضل يوم مشمس.
$ ~/Dev/projects/setfit$ python main.py --help
Usage: main.py [OPTIONS]
Options:
-d, --dataset-name TEXT The name of the dataset as it appears on the
HuggingFace hub e.g. SetFit/SentEval-CR |
SetFit/bbc-news | SetFit/enron_spam ...
-c, --case INTEGER 0, 1, 2, or 3: which experiment are we
running. See readme or docstrings to know
more but briefly: **0**: SentTF ->
Constrastive Pretrain -> +LogReg on task.
**1**: SentTF -> +Dense on task. **2**:
SentTF -> +LogReg on task. **3**:
FewShotPrompting based Clf over Flan-t5-xl
[required]
-r, --repeat INTEGER The number of times we should run the entire
experiment (changing the seed).
-bs, --batch-size INTEGER ... you know what it is.
-ns, --num-sents INTEGER Size of our train set. Set short values
(under 100)
-e, --num-epochs INTEGER Epochs for fitting Clf+SentTF on the main
(classification) task.
-eft, --num-epochs-finetune INTEGER
Epochs for both contrastive pretraining of
SentTF.
-ni, --num-iters INTEGER Number of text pairs to generate for
contrastive learning. Values above 20 can
get expensive to train.
-tot, --test-on-test If true, we report metrics on testset. If
not, on a 20% split of train set. Off by
default.
-ft, --full-test We truncate the testset of every dataset to
have 100 instances. If you know what you're
doing, you can test on the full dataset.NOTE
that if you're running this in case 3 you
should probably be a premium member and not
be paying per use.
--help Show this message and exit.
ملاحظة : إذا كنت ترغب في الاستعلام عن LLMS المستضافة في Huggingface (الحالة 3) ، فيجب عليك إنشاء حسابك على Huggingface Hub وإنشاء رموز الوصول وبعدها يجب أن تلصقها في ملف
./hf_token.key.ملاحظة: لا تقلق لقد أضفت هذا الملف إلى .gitignore
$ python active.py --help
Usage: active.py [OPTIONS]
Options:
-d, --dataset-name TEXT The name of the dataset as it appears on the
HuggingFace hub e.g. SetFit/SentEval-CR |
SetFit/bbc-news | SetFit/enron_spam | imdb ...
-ns, --num-sents INTEGER Size of our train set. I.e., the dataset at the
END of AL. Not the start of it.
-nq, --num-queries INTEGER Number of times we query the unlabeled set and
pick some labeled examples. Set short values
(under 10)
-ft, --full-test We truncate the testset of every dataset to have
100 instances. If you know what you're doing,
you can test on the full dataset.NOTE that if
you're running this in case 3 you should
probably be a premium member and not be paying
per use.
--help Show this message and exit.
أو يمكنك ببساطة تشغيل ./run.sh بعد تثبيت المكتبات المطلوبة (انظر requirements.txt )
بعد ذلك ، يمكنك تشغيل summarise.ipynb لتلخيص وتصور (إذا حصلت على إضافة هذا الرمز).
ملاحظة: انتبه إلى
--full-test. بشكل افتراضي ، نقوم باقتداد كل اختبار إلى أول 100 مثيلات.
إنهم جميعهم مجموعات بيانات التصنيف التي تم تنظيفها من قبل الأشخاص اللطفاء والطيبة الذين صنعوا LIB SetFit. ولكن يمكنك استخدام أي مجموعة بيانات HF بشرط أن تحتوي على هذه الحقول الثلاثة: (1) النص (STR) ، (ii) Label (int) ، و (iii) label_text (str).
ها هي نتائجي:
يعرض هذا الجدول نتائج هذا الإعداد التعليمي النشط. ما لم ينص على خلاف ذلك ، نكرر كل تجربة 5 مرات. تبلغ هذه الأرقام دقة المهمة عندما كان لدينا 100 حالة فقط في مجموعة القطار.
| بي بي سي نيوز | SST2 | Sentval-cr | IMDB | enron_spam | |
|---|---|---|---|---|---|
| setfit قدم | 0.978 ± 0.004 | 0.860 ± 0.018 | 0.882 ± 0.029 | 0.924 ± 0.026 | 0.960 ± 0.017 |
| لا يوجد setfit متناقضة | 0.932 ± 0.015 | 0.854 ± 0.019 | 0.886 ± 0.005 | 0.902 ± 0.019 | 0.942 ± 0.020 |
| قدم منتظم | 0.466 ± 0.133 | 0.628 ± 0.098 | 0.582 ± 0.054 | 0.836 ± 0.166 | 0.776 ± 0.089 |
| LLM المطالبة | 0.950 ± 0.000 | 0.930 ± 0.000 | 0.900 ± 0.000 | 0.930 ± 0.000 | 0.820 ± 0.000 |
| بصيرة آل | 0.980 ± 0.000 | 0.910 ± 0.000 | 0.910 ± 0.000 | 0.870 ± 0.000 | 0.980 ± 0.000 |
] كما أنه لا يتكرر للبذور المختلفة.
[2]: لا يتكرر AL التباين أيضًا للبذور المختلفة.
