rasa_nlu_gqダウンロードrasa_nlu_gqソースコードのダウンロード

rasa_nlu_gq

その他のソースコード

1.0.0

ダウンロード

Rasa NLU GQ

Rasa NLU（自然言語理解）は、自然のセマンティクスを理解するためのツールです。たとえば、公式ウェブサイトは次のとおりです。

「町の中心部にあるメキシコのレストランを探しています」

次のような構造化データを返します。

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

導入

元のプロジェクトはBranch 0.2.7にあり、自由に切り替えることができます。このバージョンの変更は、RASAの最新バージョンに基づいています。 RASA_NLU_GAOの元のコンポーネントが変更されており、新しい追加は行われていません。さらに、以前のプラクティスは少し面倒で、RASAソースコードで変更する必要はありません。元のコンポーネントをアドオンとして直接読み込み、RASAの最新バージョンを継承し、リアルタイムで更新できます。

新機能

現在追加されている新機能は次のとおりです（最新のRASA-NLU-GAOバージョンをダウンロードしてください）（2019.06.24で編集）：

エンティティ認識の新しいモデルが追加されました。1つはbilstm+CRFで、もう1つはIDCNN+CRF拡張畳み込みモデルです。対応するYMLファイルの構成は次のとおりです。

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

Jiebaの一部のスピーチアニットの新しいモジュールを追加できます。これにより、Jiebaがサポートできるスピーチの一部を簡単に識別できます。これは、名前、地名、組織名などです。

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

エンティティに基づいた新しい逆の変更意図が追加されており、対応するファイル構成は次のとおりです。

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

BETモデルによって抽出された単語ベクトルの新しい機能が追加されており、対応する構成ファイルは次のとおりです。

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

CPUおよびGPU使用率の新しい構成が追加され、主にTensorflowを使用する2つのコンポーネント、 EmbeddingIntentClassifier ner_bilstm_crf埋め込みます。

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

embedding_bert_intent_classifier分類器が追加されており、対応する構成ファイルは次のとおりです。

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

BASIC Word VectorがBERTを使用すると、TensorFlow Advanced API、TF.ESTIMATOR、TF.DATA、TF.EXAMPLE、TF.SAVED_MODEL intent_estimator_classifier_tensorflow_embedding_bertクラシフィアを使用して、バックエンド分類器が完了します。

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"