rasa_nlu_gq

Rasa Nlu GQ

Rasa NLU (natürliches Sprachverständnis) ist ein Instrument zum Verständnis der natürlichen Semantik. Zum Beispiel lautet die offizielle Website wie folgt:

"Ich suche ein mexikanisches Restaurant im Zentrum der Stadt"

Und zurückgegebene strukturierte Daten wie:

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

Einführung

Das ursprüngliche Projekt befindet sich in Branch 0.2.7 und kann frei umgeschaltet werden. Die Änderung dieser Version basiert auf der neuesten Version von Rasa. Die ursprüngliche Komponente in rasa_nlu_gao wurde geändert, und es wurden keine neuen Ergänzungen vorgenommen. Darüber hinaus sind die vorherigen Praktiken etwas umständlich und müssen im Rasa -Quellcode nicht geändert werden. Sie können die ursprüngliche Komponente direkt als Addon laden, die neueste Version von Rasa erben und in Echtzeit aktualisieren.

Neue Funktionen

Die derzeit hinzugefügten neuen Funktionen sind wie folgt (bitte laden Sie die neueste Rasa-NLU-Gao-Version herunter (bearbeiten Sie 2019.06.24):

• Ein neues Modell für die Erkennung von Entität wurde hinzugefügt, ein Bilstm+CRF und das andere ist IDCNN+CRF -Expansion Faltungsmodell. Die entsprechende YML -Dateikonfiguration lautet wie folgt:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

• Es kann ein neues Modul für Jieba-Annotation für die Beschwörungsrede hinzugefügt werden, mit der die Speech-Teils, die Jiebeba unterstützen kann, wie Namen, Ortsnamen, Organisationsnamen usw. leicht identifizieren kann. Die entsprechende YML-Dateikonfiguration lautet wie folgt:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

• Eine neue Absicht der umgekehrten Änderung, die auf Entität basiert, wurde hinzugefügt, und die entsprechende Dateikonfiguration lautet wie folgt:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

• Eine neue Funktion des vom BET -Modells extrahierten Wortvektors wurde hinzugefügt, und die entsprechenden Konfigurationsdateien sind wie folgt:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

• Neue Konfigurationen für die CPU- und GPU -Auslastung werden hinzugefügt, wobei hauptsächlich EmbeddingIntentClassifier und ner_bilstm_crf , zwei Komponenten, die TensorFlow verwenden, wie folgt konfiguriert werden (natürlich kann config_proto nicht konfiguriert werden und der Standardwert wird alle Ressourcen verwendet):

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

• Ein embedding_bert_intent_classifier -Klassifizierer wurde hinzugefügt, und die entsprechenden Konfigurationsdateien sind wie folgt:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

• Wenn der Basis -Wortvektor Bert verwendet, wird der Backend -Klassifizierer mit dem TensorFlow Advanced API, TF.Sestimator, tf.data, tf.example, TF.Saved_Model intent_estimator_classifier_tensorflow_embedding_bert -Klassifikator abgeschlossen.

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"

• Die ultimative Form von Rasa-NLU, die entsprechende Konfigurationsdatei, lautet wie folgt (bearbeiten Sie 2019.10.01). Sie können sich auf den obigen Artikel beziehen

Schnelle Installation

 pip install rasa-nlu-gao

Einige Beispiele

Für bestimmte Beispiele siehe rasa_chatbot_cn

externer Link

LivePortraitweb -Novel