lingvo
1.0.0
Lingvo هو إطار لبناء الشبكات العصبية في TensorFlow ، وخاصة نماذج التسلسل.
يمكن العثور على قائمة المنشورات التي تستخدم Lingvo هنا.
| إصدار PYPI | يقترف |
|---|---|
| 0.12.4 | - |
| 0.11.0 | 6FAE10077756F54BEACD5C454959F20B33FD65E2 |
| 0.10.0 | 075FD1D88FA6F92681F58A2383264337D0E737EE |
| 0.9.1 | C1124C5AA7AF13D2DD2B6D43293C8CA6D022B008 |
| 0.9.0 | F826E99803D1B51DCCBBBED1EF857BA48A2BBEFE |
| إصدار PYPI | يقترف |
|---|---|
| 0.8.2 | 93E123C6788E934E6B7B1FD85770371BECF1E92E |
| 0.7.2 | B05642FE386EE79E0D88AA083565C9A93428519E |
تفاصيل الإصدارات القديمة غير متوفرة.
ملاحظة: هذه ليست قائمة شاملة. لا تقدم إصدارات Lingvo أي ضمانات فيما يتعلق بالتوافق مع الورق.
لا شيء هنا.
beam_done إضافية.done_hyps . abc.ABCMeta base_layer.ABCLayerMeta بدلاً من ذلك.__init__ الآن تثير خطأ.base_layer.initializer . لم تعد الفئات الفرعية تحتاج إلى تزيين وظيفة __init__ .__init__ أو _CreateLayerVariables تثير الآن خطأ.__init__ . Refactor عن طريق تحريك الإبداع المتغير والوصول إلى _CreateLayerVariables . يتم تعيين نطاق المتغير تلقائيًا وفقًا لاسم الطبقة في _CreateLayerVariables .تفاصيل الإصدارات القديمة غير متوفرة.
هناك طريقتان لإعداد Lingvo: تثبيت نسخة ثابتة من خلال PIP ، أو استنساخ المستودع وبناءه باستخدام Bazel. يتم توفير تكوينات Docker لكل حالة.
إذا كنت ترغب في استخدام الإطار كما هو ، فمن الأسهل تثبيته من خلال PIP. هذا يجعل من الممكن تطوير وتدريب النماذج المخصصة باستخدام نسخة مجمدة من إطار Lingvo. ومع ذلك ، من الصعب تعديل رمز الإطار أو تنفيذ OPS مخصص جديد.
إذا كنت ترغب في تطوير الإطار أكثر وربما تساهم في طلبات السحب ، فيجب عليك تجنب استخدام PIP واستنساخ المستودع بدلاً من ذلك.
PIP:
يمكن تثبيت حزمة Lingvo Pip باستخدام pip3 install lingvo .
انظر Codelab للحصول على كيفية البدء مع حزمة PIP.
من المصادر:
المتطلبات المسبقة هي:
C++ (فقط G ++ 7.3 مدعوم رسميًا) ، والرجوع إلى Docker/dev.dockerfile لمجموعة من متطلبات العمل.
git clone المستودع ، ثم استخدم Bazel لإنشاء وتشغيل الأهداف مباشرة. يجب تعيين أوامر python -m module في Codelab على أوامر bazel run .
عامل ميناء:
تكوينات Docker متاحة لكلا حالتين. يمكن العثور على التعليمات في التعليقات على الجزء العلوي من كل ملف.
كيفية تثبيت Docker.
PIP:
mkdir -p /tmp/mnist
python3 -m lingvo.tools.keras2ckpt --dataset=mnistبازيل:
mkdir -p /tmp/mnist
bazel run -c opt //lingvo/tools:keras2ckpt -- --dataset=mnist سيتم إنشاء الملفات التالية في /tmp/mnist :
mnist.data-00000-of-00001 : 53 ميجابايت.mnist.index : 241 بايت. PIP:
cd /tmp/mnist
curl -O https://raw.githubusercontent.com/tensorflow/lingvo/master/lingvo/tasks/image/params/mnist.py
python3 -m lingvo.trainer --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/logبازيل:
(cpu) bazel build -c opt //lingvo:trainer
(gpu) bazel build -c opt --config=cuda //lingvo:trainer
bazel-bin/lingvo/trainer --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderrبعد حوالي 20 ثانية ، يجب أن تنخفض الخسارة إلى أقل من 0.3 وسيتم حفظ نقطة تفتيش ، كما يلي. اقتل المدرب مع Ctrl+C.
trainer.py:518] step: 205, steps/sec: 11.64 ... loss:0.25747201 ...
checkpointer.py:115] Save checkpoint
checkpointer.py:117] Save checkpoint done: /tmp/mnist/log/train/ckpt-00000205
سيتم إنتاج بعض القطع الأثرية في /tmp/mnist/log/control :
params.txt : hyper-parameters.model_analysis.txt : أحجام النماذج لكل طبقة.train.pbtxt : التدريب tf.GraphDef .events.* : ملف أحداث Tensorboard. وكذلك في /tmp/mnist/log/train :
checkpoint : ملف نصي يحتوي على معلومات حول ملفات نقطة التفتيش.ckpt-* : ملفات نقطة التفتيش.الآن ، دعنا نقيم النموذج على مجموعة بيانات "الاختبار". في إعداد التدريب العادي ، يجب تشغيل المدرب والتقييم في نفس الوقت كعمليتين منفصلتين.
PIP:
python3 -m lingvo.trainer --job=evaler_test --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/logبازيل:
bazel-bin/lingvo/trainer --job=evaler_test --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderrاقتل الوظيفة باستخدام Ctrl+C عندما يبدأ في انتظار نقطة تفتيش جديدة.
base_runner.py:177] No new check point is found: /tmp/mnist/log/train/ckpt-00000205
يمكن العثور على دقة التقييم في وقت مبكر قليلاً في السجلات.
base_runner.py:111] eval_test: step: 205, acc5: 0.99775392, accuracy: 0.94150388, ..., loss: 0.20770954, ...
لتشغيل نموذج أكثر تفصيلاً ، ستحتاج إلى مجموعة مع وحدات معالجة الرسومات. يرجى الرجوع إلى third_party/py/lingvo/tasks/mt/README.md لمزيد من المعلومات.
لتدريب نموذج لغة GSHARD مع معلمة تريليون على GCP باستخدام CloudTPUS V3-512 باستخدام موازاة نموذج 512 طريق ، يرجى الرجوع إلى third_party/py/lingvo/tasks/lm/README.md لمزيد من المعلومات.
لتشغيل طراز StarNet باستخدام CloudTPUS على GCP ، يرجى الرجوع إلى third_party/py/lingvo/tasks/car/README.md .
استمع ، حضور وتهجئة.
وليام تشان ، نافديب جيتلي ، Quoc V. Le ، و Oriol Vinyals. ICASSP 2016.
التعرف على الكلام المستمر من طرف إلى طرف باستخدام NN المتكرر القائم على الانتباه: النتائج الأولى.
جان تشوروفسكي ، دزيتري باهداناو ، كيونغايون تشو ، ويوشوا بينجيو. Arxiv 2014.
DeepFusion: اندماج LiDar-Camera العميق للكشف عن الكائنات ثلاثية الأبعاد متعددة الوسائط.
Yingwei Li ، Adams Wei Yu ، Tianjian Meng ، Ben Caine ، Jiquan Ngiam ، Daiyi Peng ، Junyang Shen ، Bo Wu ، Yifeng Lu ، Denny Zhou ، Quoc V. Le ، Alan Yuille ، Mingxing Tan. CVPR 2022.
Starnet: الحساب المستهدف للكشف عن الكائنات في السحب النقطة.
Jiquan Ngiam ، Benjamin Caine ، Wei Han ، Brandon Yang ، Yuning Chai ، Pei Sun ، Yin Zhou ، Xi Yi ، Ouais Alsharif ، Patrick Nguyen ، Zhifeng Chen ، Jonathon Shlens ، و Vijay Vasudevan. Arxiv 2019.
تعلم التعلم القائم على التدرج على التعرف على الوثائق.
يان ليكون ، ليون بوتو ، يوشوا بينجيو ، وباتريك هافنر. IEEE 1998.
استكشاف حدود نمذجة اللغة.
Rafal Jozefowicz ، Oriol Vinyals ، Mike Schuster ، Noam Shazeer ، Yonghui Wu. Arxiv ، 2016.
GSHARD: تحجيم النماذج العملاقة مع الحساب الشرطي والتشويش التلقائي.
Dmitry Lepikhin ، Hyoukjoong Lee ، Yuanzhong Xu ، Dehao Chen ، Orhan Firat ، Yanping Huang ، Maxim Krikun ، Noam Shazeer and Zhifeng Chen Arxiv ، 2020.
أفضل ما في العالمين: الجمع بين التطورات الحديثة في الترجمة الآلية العصبية.
Mia X. Chen ، Orhan Firat ، Ankur Bapna ، Melvin Johnson ، Wolfgang Macherey ، George Foster ، Llion Jones ، Mike Schuster ، Noam Shazeer ، Niki Parmar ، Ashish Vaswani ، Jakob Uszkoreit ، Lukasz Kaiser ، Zhifeng chen ، Yonghui Wu ، و Macduff و Macduff. ACL 2018.
التدريب المشترك الذي يتم إشرافه ذاتيا ومراقبة للترجمة الآلية العصبية الغنية بالموارد.
يونغ تشنغ ، واي وانغ ، لو جيانغ ، وولفغانج ماكري. ICML 2021.
يرجى الاستشهاد بهذه الورقة عند الرجوع إلى Lingvo.
@misc{shen2019lingvo,
title={Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling},
author={Jonathan Shen and Patrick Nguyen and Yonghui Wu and Zhifeng Chen and others},
year={2019},
eprint={1902.08295},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
ترخيص Apache 2.0
