lingvo
1.0.0
lingvo是在張量，尤其是序列模型中構建神經網絡的框架。
可以在此處找到使用Lingvo的出版物列表。
| PYPI版本 | 犯罪 |
|---|---|
| 0.12.4 | - - |
| 0.11.0 | 6FAE10077756F54BEACD5C454959F20B33FD65E2 |
| 0.10.0 | 075FD1D88FA6F92681F58A238326437D0E737EE |
| 0.9.1 | C1124C5AA7AF13D2DD2B6D43293C8CA6D022B008 |
| 0.9.0 | F826E99803D1B51DCCBBBED1EF857BA48A2BBEFE |
| PYPI版本 | 犯罪 |
|---|---|
| 0.8.2 | 93E123C6788E934E6B7B1FD85770371BECF1E92E |
| 0.7.2 | B05642FE386EE79E0D88AA083565C9A93428519E |
舊版本的詳細信息不可用。
注意：這不是一個全面的列表。 Lingvo發行版不提供有關向後兼容性的任何保證。
這裡什麼都沒有。
beam_done 。done_hyps 。 abc.ABCMeta延伸的baselayer的子類現在應擴展base_layer.ABCLayerMeta 。__init__之外調用self.createchild現在會引起錯誤。base_layer.initializer已被刪除。子類不再需要裝飾其__init__功能。__init__或_CreateLayerVariables之外進行self.createvariable，現在會引起錯誤。__init__內部。通過移動變量創建並訪問_CreateLayerVariables來進行重構。可變範圍是根據_CreateLayerVariables中的圖層名稱自動設置的。舊版本的詳細信息不可用。
有兩種設置Lingvo的方法：通過PIP安裝固定版本，或克隆存儲庫並使用Bazel構建它。每種情況都提供了Docker配置。
如果您只想使用IS框架，則最容易通過PIP安裝它。這使得使用Lingvo框架的冷凍版本可以開發和訓練自定義模型。但是，很難修改框架代碼或實現新的自定義操作。
如果您想進一步開發框架並可能貢獻拉動請求，則應避免使用PIP並克隆存儲庫。
PIP：
可以使用pip3 install lingvo安裝Lingvo Pip包。
有關如何開始使用PIP軟件包，請參見Codelab。
來自來源：
先決條件是：
C++編譯器（正式支持G ++ 7.3），並且有關一組工作要求，請參閱Docker/dev.dockerfile。
git clone存儲庫，然後使用Bazel直接構建和運行目標。 CODELAB中的python -m module命令需要映射到bazel run命令上。
Docker：
Docker配置可用於兩種情況。可以在每個文件頂部的註釋中找到說明。
如何安裝Docker。
PIP：
mkdir -p /tmp/mnist
python3 -m lingvo.tools.keras2ckpt --dataset=mnist巴澤爾：
mkdir -p /tmp/mnist
bazel run -c opt //lingvo/tools:keras2ckpt -- --dataset=mnist以下文件將在/tmp/mnist中創建：
mnist.data-00000-of-00001 ：53MB。mnist.index ：241字節。 PIP：
cd /tmp/mnist
curl -O https://raw.githubusercontent.com/tensorflow/lingvo/master/lingvo/tasks/image/params/mnist.py
python3 -m lingvo.trainer --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log巴澤爾：
(cpu) bazel build -c opt //lingvo:trainer
(gpu) bazel build -c opt --config=cuda //lingvo:trainer
bazel-bin/lingvo/trainer --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderr大約20秒後，損失應下降到0.3以下，並將保存一個檢查站，如下所示。用CTRL+c殺死教練。
trainer.py:518] step: 205, steps/sec: 11.64 ... loss:0.25747201 ...
checkpointer.py:115] Save checkpoint
checkpointer.py:117] Save checkpoint done: /tmp/mnist/log/train/ckpt-00000205
/tmp/mnist/log/control將產生一些文物：
params.txt ：超參數。model_analysis.txt ：每一層的模型大小。train.pbtxt ：培訓tf.GraphDef 。events.* ：張板事件文件。以及/tmp/mnist/log/train ：
checkpoint ：包含有關檢查點文件的信息的文本文件。ckpt-* ：檢查點文件。現在，讓我們在“測試”數據集上評估模型。在正常的培訓設置中，培訓師和評估者應與兩個單獨的過程同時運行。
PIP：
python3 -m lingvo.trainer --job=evaler_test --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log巴澤爾：
bazel-bin/lingvo/trainer --job=evaler_test --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderr當Ctrl+C開始等待新檢查點時，用CTRL+C殺死工作。
base_runner.py:177] No new check point is found: /tmp/mnist/log/train/ckpt-00000205
評估精度可以在日誌中稍早發現。
base_runner.py:111] eval_test: step: 205, acc5: 0.99775392, accuracy: 0.94150388, ..., loss: 0.20770954, ...
要運行更精緻的型號，您需要一個帶有GPU的群集。有關更多信息，請參閱third_party/py/lingvo/tasks/mt/README.md 。
要使用CloudTpus V3-512在GCP上使用512-Way模型並行訓練GSSHARD語言模型，請參閱third_party/py/lingvo/tasks/lm/README.md以獲取更多信息。
要使用GCP上的CloudTpus運行Starnet模型，請參閱third_party/py/lingvo/tasks/car/README.md 。
聽，參加和咒語。
William Chan，Navdeep Jaitly，Quoc V. Le和Oriol Vinyals。 ICASSP 2016。
使用基於注意的複發NN的端到端連續語音識別：第一個結果。
Jan Chorowski，Dzmitry Bahdanau，Kyunghyun Cho和Yoshua Bengio。 Arxiv 2014。
深度灌注：用於多模式3D對象檢測的LiDAR-CAMERA深融合。
Yingwei Li，Adams Wei Yu，Tianjian Meng，Ben Caine，Jiquan Ngiam，Daiyi Peng，Junyang Shen，Bo Wu，Yifeng Lu，Yifeng Lu，Denny Zhou，Quoc V. Le，Quoc V. Le，Alan Yuille，Mingxing Tan。 CVPR 2022。
Starnet：針對點雲中對象檢測的目標計算。
Jiquan Ngiam，Benjamin Caine，Wei Han，Brandon Yang，Yuning Chai，Pei Sun，Yin Zhou，Xi Yi，Ouais Alsharif，Patrick Nguyen，Zhifeng Chen，Jonathon Shlens和Vijay Vasudevan。 Arxiv 2019。
基於梯度的學習應用於文檔識別。
Yann Lecun，Leon Bottou，Yoshua Bengio和Patrick Haffner。 IEEE 1998。
探索語言建模的極限。
Rafal Jozefowicz，Oriol Vinyals，Mike Schuster，Noam Shazeer和Yonghui Wu。 Arxiv，2016年。
GSHARD：通過有條件計算和自動碎片的擴展巨型模型。
Dmitry Lepikhin，Hyoukjoong Lee，Yuanzhong Xu，Dehao Chen，Orhan Firat，Yanping Huang，Maxim Krikun，Noam Shazeer和Zhifeng Chen Arxiv，2020年。
兩者中最好的是：結合神經機器翻譯的最新進展。
Mia X. Chen，Orhan Firat，Ankur Bapna，Melvin Johnson，Wolfgang Macherey，George Foster，Llion Jones，Mike Schuster，Noam Shazeer，Niki Parmar，Ashish Vaswani，Jakob Uszkoreit，Jakob Uszkoreit，Lukasz Kaiser，Lukasz Kaiser，lukasz kaiser，Zhifeng，Zhifuff Chen，Yongubff Chen，Yonghusf and Youffuff and Hush Hels and yuf。 ACL 2018。
對資源豐富的神經機器翻譯的自我監督和監督聯合培訓。
楊成，魏王，盧江和沃爾夫岡·馬切裡。 ICML 2021。
引用lingvo時，請引用本文。
@misc{shen2019lingvo,
title={Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling},
author={Jonathan Shen and Patrick Nguyen and Yonghui Wu and Zhifeng Chen and others},
year={2019},
eprint={1902.08295},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
Apache許可證2.0
