lingvo
1.0.0
lingvo是在张量，尤其是序列模型中构建神经网络的框架。
可以在此处找到使用Lingvo的出版物列表。
| PYPI版本 | 犯罪 |
|---|---|
| 0.12.4 | - - |
| 0.11.0 | 6FAE10077756F54BEACD5C454959F20B33FD65E2 |
| 0.10.0 | 075FD1D88FA6F92681F58A238326437D0E737EE |
| 0.9.1 | C1124C5AA7AF13D2DD2B6D43293C8CA6D022B008 |
| 0.9.0 | F826E99803D1B51DCCBBBED1EF857BA48A2BBEFE |
| PYPI版本 | 犯罪 |
|---|---|
| 0.8.2 | 93E123C6788E934E6B7B1FD85770371BECF1E92E |
| 0.7.2 | B05642FE386EE79E0D88AA083565C9A93428519E |
旧版本的详细信息不可用。
注意：这不是一个全面的列表。 Lingvo发行版不提供有关向后兼容性的任何保证。
这里什么都没有。
beam_done 。done_hyps 。 abc.ABCMeta延伸的baselayer的子类现在应扩展base_layer.ABCLayerMeta 。__init__之外调用self.createchild现在会引起错误。base_layer.initializer已被删除。子类不再需要装饰其__init__功能。__init__或_CreateLayerVariables之外进行self.createvariable，现在会引起错误。__init__内部。通过移动变量创建并访问_CreateLayerVariables来进行重构。可变范围是根据_CreateLayerVariables中的图层名称自动设置的。旧版本的详细信息不可用。
有两种设置Lingvo的方法：通过PIP安装固定版本，或克隆存储库并使用Bazel构建它。每种情况都提供了Docker配置。
如果您只想使用IS框架，则最容易通过PIP安装它。这使得使用Lingvo框架的冷冻版本可以开发和训练自定义模型。但是，很难修改框架代码或实现新的自定义操作。
如果您想进一步开发框架并可能贡献拉动请求，则应避免使用PIP并克隆存储库。
PIP：
可以使用pip3 install lingvo安装Lingvo Pip包。
有关如何开始使用PIP软件包，请参见Codelab。
来自来源：
先决条件是：
C++编译器（正式支持G ++ 7.3），并且有关一组工作要求，请参阅Docker/dev.dockerfile。
git clone存储库，然后使用Bazel直接构建和运行目标。 CODELAB中的python -m module命令需要映射到bazel run命令上。
Docker：
Docker配置可用于两种情况。可以在每个文件顶部的注释中找到说明。
如何安装Docker。
PIP：
mkdir -p /tmp/mnist
python3 -m lingvo.tools.keras2ckpt --dataset=mnist巴泽尔：
mkdir -p /tmp/mnist
bazel run -c opt //lingvo/tools:keras2ckpt -- --dataset=mnist以下文件将在/tmp/mnist中创建：
mnist.data-00000-of-00001 ：53MB。mnist.index ：241字节。 PIP：
cd /tmp/mnist
curl -O https://raw.githubusercontent.com/tensorflow/lingvo/master/lingvo/tasks/image/params/mnist.py
python3 -m lingvo.trainer --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log巴泽尔：
(cpu) bazel build -c opt //lingvo:trainer
(gpu) bazel build -c opt --config=cuda //lingvo:trainer
bazel-bin/lingvo/trainer --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderr大约20秒后，损失应下降到0.3以下，并将保存一个检查站，如下所示。用CTRL+c杀死教练。
trainer.py:518] step: 205, steps/sec: 11.64 ... loss:0.25747201 ...
checkpointer.py:115] Save checkpoint
checkpointer.py:117] Save checkpoint done: /tmp/mnist/log/train/ckpt-00000205
/tmp/mnist/log/control将产生一些文物：
params.txt ：超参数。model_analysis.txt ：每一层的模型大小。train.pbtxt ：培训tf.GraphDef 。events.* ：张板事件文件。以及/tmp/mnist/log/train ：
checkpoint ：包含有关检查点文件的信息的文本文件。ckpt-* ：检查点文件。现在，让我们在“测试”数据集上评估模型。在正常的培训设置中，培训师和评估者应与两个单独的过程同时运行。
PIP：
python3 -m lingvo.trainer --job=evaler_test --run_locally=cpu --mode=sync --model=mnist.LeNet5 --logdir=/tmp/mnist/log巴泽尔：
bazel-bin/lingvo/trainer --job=evaler_test --run_locally=cpu --mode=sync --model=image.mnist.LeNet5 --logdir=/tmp/mnist/log --logtostderr当Ctrl+C开始等待新检查点时，用CTRL+C杀死工作。
base_runner.py:177] No new check point is found: /tmp/mnist/log/train/ckpt-00000205
评估精度可以在日志中稍早发现。
base_runner.py:111] eval_test: step: 205, acc5: 0.99775392, accuracy: 0.94150388, ..., loss: 0.20770954, ...
要运行更精致的型号，您需要一个带有GPU的群集。有关更多信息，请参阅third_party/py/lingvo/tasks/mt/README.md 。
要使用CloudTpus V3-512在GCP上使用512-Way模型并行训练GSSHARD语言模型，请参阅third_party/py/lingvo/tasks/lm/README.md以获取更多信息。
要使用GCP上的CloudTpus运行Starnet模型，请参阅third_party/py/lingvo/tasks/car/README.md 。
听，参加和咒语。
William Chan，Navdeep Jaitly，Quoc V. Le和Oriol Vinyals。 ICASSP 2016。
使用基于注意的复发NN的端到端连续语音识别：第一个结果。
Jan Chorowski，Dzmitry Bahdanau，Kyunghyun Cho和Yoshua Bengio。 Arxiv 2014。
深度灌注：用于多模式3D对象检测的LiDAR-CAMERA深融合。
Yingwei Li，Adams Wei Yu，Tianjian Meng，Ben Caine，Jiquan Ngiam，Daiyi Peng，Junyang Shen，Bo Wu，Yifeng Lu，Yifeng Lu，Denny Zhou，Quoc V. Le，Quoc V. Le，Alan Yuille，Mingxing Tan。 CVPR 2022。
Starnet：针对点云中对象检测的目标计算。
Jiquan Ngiam，Benjamin Caine，Wei Han，Brandon Yang，Yuning Chai，Pei Sun，Yin Zhou，Xi Yi，Ouais Alsharif，Patrick Nguyen，Zhifeng Chen，Jonathon Shlens和Vijay Vasudevan。 Arxiv 2019。
基于梯度的学习应用于文档识别。
Yann Lecun，Leon Bottou，Yoshua Bengio和Patrick Haffner。 IEEE 1998。
探索语言建模的极限。
Rafal Jozefowicz，Oriol Vinyals，Mike Schuster，Noam Shazeer和Yonghui Wu。 Arxiv，2016年。
GSHARD：通过有条件计算和自动碎片的扩展巨型模型。
Dmitry Lepikhin，Hyoukjoong Lee，Yuanzhong Xu，Dehao Chen，Orhan Firat，Yanping Huang，Maxim Krikun，Noam Shazeer和Zhifeng Chen Arxiv，2020年。
两者中最好的是：结合神经机器翻译的最新进展。
Mia X. Chen，Orhan Firat，Ankur Bapna，Melvin Johnson，Wolfgang Macherey，George Foster，Llion Jones，Mike Schuster，Noam Shazeer，Niki Parmar，Ashish Vaswani，Jakob Uszkoreit，Jakob Uszkoreit，Lukasz Kaiser，Lukasz Kaiser，lukasz kaiser，Zhifeng，Zhifuff Chen，Yongubff Chen，Yonghusf and Youffuff and Hush Hels and yuf。 ACL 2018。
对资源丰富的神经机器翻译的自我监督和监督联合培训。
杨成，魏王，卢江和沃尔夫冈·马切里。 ICML 2021。
引用lingvo时，请引用本文。
@misc{shen2019lingvo,
title={Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling},
author={Jonathan Shen and Patrick Nguyen and Yonghui Wu and Zhifeng Chen and others},
year={2019},
eprint={1902.08295},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
Apache许可证2.0
