nlp architect

ショ和プロジェクトの中止-このプロジェクトは、Intelによって維持されなくなります。このプロジェクトは、既知のセキュリティエスケープを持っていると特定されています。 Intelは、メンテナンス、バグ修正、新しいリリース、または更新など、このプロジェクトの開発と貢献を停止しましたが、これに限定されません。 Intelは、このプロジェクトのパッチを受け入れなくなりました。

Intel®AIラボによる深い学習NLP/NLUライブラリ

概要|モデル|インストール|例|ドキュメント|チュートリアル|貢献

NLP Architectは、自然言語加工と自然言語理解ニューラルネットワークを最適化するための最先端の深い学習トポロジと技術を探索するためのオープンソースPythonライブラリです。

概要

NLP Architectは、柔軟で拡張しやすいように設計されたNLPライブラリであり、アプリケーションでNLPモデルを簡単かつ迅速に統合し、最適化されたモデルを紹介します。

特徴：

• 多くのNLPタスクで使用され、多くのNLPアプリケーションで役立つコアNLPモデル

• 新しいNLUモデルは、新しいトポロジーとテクニックを紹介します

• ニューラルNLP/NLUモデルのさまざまな最適化アルゴリズムを紹介する最適化されたNLP/NLUモデル

• モデル指向のデザイン：

  • コマンドラインからモデルをトレーニングおよび実行します。
  • Pythonで推論にモデルを使用するためのAPI。
  • トレーニング、推論、または処理に関連するもののためのカスタムプロセスを定義する手順。
  • 実行手順のためのCLIサブシステム

• 最適化された深い学習フレームワークに基づいています：

  • Tensorflow
  • Pytorch
  • ダイネット

• NLPモデルを操作するための重要なユーティリティ - テキスト/文字列前処理、IO、データ操作、メトリック、埋め込み。

NLPアーキテクトのインストール

NLP Architectを新しいPython環境にインストールして、最新のpip 、 setuptools 、 h5pyを備えたPython 3.6+を使用することをお勧めします。

pipを使用してインストールします

コアライブラリのみをインストールします

pip install nlp-architect

ソースからインストール（github）

コアライブラリ、例、ソリューション、チュートリアルが含まれています。

git clone https://github.com/IntelLabs/nlp-architect.git
cd nlp-architect
pip install -e .  # install in developer mode

実行の例とソリューション

提供された例とソリューションを実行するには、必要な追加のパッケージをインストールする[all]フラグを備えたライブラリをインストールしてください。 （ソースからのインストールが必要です）

pip install .[all]

モデル

クラスのパフォーマンスに最適（または近く）を提供するNLPモデル：

• 単語チャンキング
• 名前付きエンティティ認識
• 依存関係解析
• 意図抽出
• 感情分類
• 言語モデル
• トランス（NLPタスク用）

セマンティック理解に対処する自然言語理解（NLU）モデル：

• アスペクトベースの感情分析（ABSA）
• 共同意図の検出とスロットタグ付け
• 名詞句埋め込み表現（NP2VEC）
• 最も一般的な単語感覚検出
• 関係の識別
• ドキュメントコアレファレンスを相互に
• 名詞句セマンティックセグメンテーション

NLP/NLUモデルとその他の最適化。最適化テクニック：

• 量子化されたバート（8ビット）
• トランスを使用した知識の蒸留
• まばらで量子化された神経機械翻訳（GNMT）

1つ以上のモデルを使用したソリューション（エンドツーエンドアプリケーション）：

• 用語セット拡張 - 含まれた単語チャンカーを名詞句抽出器として使用し、NP2VECを使用してセマンティック用語セットを作成します
• トピックとトレンド分析 - 一時的なコーパラのトレンドフレーズの分析
• アスペクトベースの感情分析（ABSA）

ドキュメント

NLPモデル、アルゴリズム、ソリューション、および各モデルの実行方法に関する指示の完全なライブラリドキュメントは、当社のWebサイトにあります。

NLP Architect Library Design Philosophy

NLP Architectは、新規およびさまざまなニューラルネットワークの最適化を紹介するために設計されたモデル指向のライブラリです。ライブラリには、タスクごとのNLP/NLU関連モデル、異なるニューラルネットワークトポロジ（モデルで使用されている）、ライブラリのワークフローを簡素化する手順、事前に定義されたデータプロセッサ、データセットローダー、その他のユーティリティが含まれています。ライブラリは、モデル開発のためのツールになるように設計されています。

主な設計ガイドラインは次のとおりです。

• ディープラーニングフレームワーク不可知論者
• タスクごとのNLP/NLUモデル
• モデルで使用されるさまざまなトポロジ
• 1つ以上のNLPアーキテクトモデルを使用して、エンドツーエンドアプリケーション（ソリューション）を紹介します
• NLPモデル開発（ローダー、テキストプロセッサ、IO、メトリックなど）をサポートする一般的なデータセットローダー、テキストデータ処理ユーティリティ、およびその他のユーティリティ。
• トレーニング、推論、最適化、またはあらゆる種類の精巧なスクリプトのプロセスを定義する手順。
• 推論にモデルを使用するためのPythonic API
• 広範なモデルのドキュメントとチュートリアル

注記

NLPアーキテクトは、研究開発の積極的な空間です。将来、新しいモデル、ソリューション、トポロジ、フレームワークの追加と変更がリリースされます。すべてのモデルがPython 3.6+で実行されることを確認することを目指しています。研究者と開発者が自分の仕事を図書館に貢献することをお勧めします。

引用

研究でNLPアーキテクトを使用する場合は、次の引用を使用してください。

 @misc{izsak_peter_2018_1477518,
  title        = {NLP Architect by Intel AI Lab},
  month        = nov,
  year         = 2018,
  doi          = {10.5281/zenodo.1477518},
  url          = {https://doi.org/10.5281/zenodo.1477518}
}

免責事項

NLPアーキテクトは、研究目的で参照コードとしてリリースされます。それは公式のIntel製品ではなく、品質とサポートのレベルは公式製品から期待されていないかもしれません。 NLPアーキテクトは、ローカルで使用することを目的としており、生産の使用またはWeb展開のために設計、開発、評価されていません。追加のアルゴリズムと環境がフレームワークに追加される予定です。オープンソースとNLPの研究コミュニティからのフィードバックと貢献は大歓迎です。

接触

githubの問題または電子メールを介してNLP Architect Developmentチームに連絡してください：[email protected]