lightNLP
1.0.0
このプロジェクトは、PytorchとTorchTextに基づいており、自然言語処理関連のタスクに関する基本的な深い学習フレームワークを提供することを目的としています。
詳細な手順とチュートリアルについては、プロジェクトのドキュメントを参照してください：lightnlp-cookbook
pip install lightNLP次のコマンドを使用するなど、国内のソースを使用してインストールすることをお勧めします。
pip install -i https://pypi.douban.com/simple/ lightNLPPytorchやTorchTextなどの一部のライブラリはPypiソースにないか、古いバージョンのみを持っているため、いくつかのライブラリを個別にインストールする必要があります。
Pytorchの最新バージョンを使用してください！
特定のインストールについては、Pytorchの公式Webサイトを参照して、プラットフォーム、インストール方法、Pythonバージョン、Cudaバージョンに従って自分に合ったバージョンを選択してください。
次のコマンドを使用して、TorchTextの最新バージョンをインストールします。
pip install https://github.com/pytorch/text/archive/master.zipバイオ
トレーニングデータの例は次のとおりです。
清 B_Time
明 I_Time
是 O
人 B_Person
们 I_Person
祭 O
扫 O
先 B_Person
人 I_Person
， O
怀 O
念 O
追 O
思 O
的 O
日 B_Time
子 I_Time
。 O
正 O
如 O
宋 B_Time
代 I_Time
诗 B_Person
人 I_Person
from lightnlp.sl import NER
# 创建NER对象
ner_model = NER()
train_path = '/home/lightsmile/NLP/corpus/ner/train.sample.txt'
dev_path = '/home/lightsmile/NLP/corpus/ner/test.sample.txt'
vec_path = '/home/lightsmile/NLP/embedding/char/token_vec_300.bin'
# 只需指定训练数据路径和TensorBoard日志文件路径，预训练字向量可选，开发集路径可选，模型保存路径可选（模型保存路径默认为`xx_saves`，其中xx为模型简称，如ner）。
ner_model.train(train_path, vectors_path=vec_path, dev_path=dev_path, save_path='./ner_saves', log_dir='E:/Test/tensorboard/')
# 加载模型，默认当前目录下的`ner_saves`目录
ner_model.load('./ner_saves')
# 对train_path下的测试集进行读取测试
ner_model.test(train_path)
from pprint import pprint
pprint(ner_model.predict('另一个很酷的事情是，通过框架我们可以停止并在稍后恢复训练。'))
予測の結果：
[{'end': 15, 'entity': '我们', 'start': 14, 'type': 'Person'}]
コマンドラインから次のコマンドを実行します。ここで、 E:TesttensorBoardモデルトレーニング中にログストレージパスに変更され、ポート仕様はオプションです。
tensorboard --logdir=E: T est t ensorBoard --port=2019同様の効果を見ることができます：
ner_model . deploy ( host = "localhost" , port = 2020 , debug = False )すべてのパラメーターはオプションです。 hostパラメーターは、デフォルトでlocalhostになります。 portポートは、プログラムによってシステムへのアイドルポートに自動的に適用され、 debugモードはデフォルトでは有効になりません。
下の図に示すように、郵便配達員を使用したり、プログラムをテストしたりできます。
scalarとグラフのgraphを含むテンソルボードの視覚化関数が追加されました（現在、Pytorchのsummarywriterのadd_graph関数にいくつかのバグがあるため、当面は追加できません）。 nameがあります。 このプロジェクトがあなたに役立つなら、私に報酬を与えてください〜
