rasa_nlu_gq

Rasa nlu gq

Rasa NLU (compréhension du langage naturel) est un outil pour comprendre la sémantique naturelle. Par exemple, le site officiel est le suivant:

"Je recherche un restaurant mexicain dans le centre de la ville"

Et renvoyer des données structurées comme:

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

Introduction

Le projet d'origine est sur la branche 0.2.7 et peut être commuté librement. La modification de cette version est basée sur la dernière version de RASA. Le composant d'origine de RASA_NLU_GAO a été modifié et aucun nouvel ajout n'a été fait. De plus, les pratiques précédentes sont un peu lourdes et n'ont pas besoin d'être modifiées dans le code source RASA. Vous pouvez charger directement le composant d'origine en tant qu'addon, hériter de la dernière version de RASA et le mettre à jour en temps réel.

Nouvelles fonctionnalités

Les nouvelles fonctionnalités actuellement ajoutées sont les suivantes (veuillez télécharger la dernière version Rasa-Nlu-Gao) (modifier en 2019.06.24):

• Un nouveau modèle de reconnaissance des entités a été ajouté, l'un est BILSTM + CRF et l'autre est le modèle de convolution d'extension IDCNN + CRF. La configuration du fichier YML correspondant est la suivante:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

• Un nouveau module pour l'annotation de la partie du discours Jieba peut être ajouté, ce qui peut facilement identifier la partie de la partie de la parole que Jieba peut prendre en charge, telles que les noms, les noms de lieux, les noms d'organisation, etc. La configuration du fichier YML correspondant est la suivante:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

• Une nouvelle intention de modification inverse basée sur l'entité a été ajoutée, et la configuration du fichier correspondant est la suivante:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

• Une nouvelle fonctionnalité du Vector Word extrait par modèle BET a été ajoutée, et les fichiers de configuration correspondants sont les suivants:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

• De nouvelles configurations pour l'utilisation du CPU et du GPU sont ajoutées, intégrant principalement EmbeddingIntentClassifier et ner_bilstm_crf , deux composants qui utilisent TensorFlow, sont configurés comme suit (bien sûr, Config_Proto ne peut pas être configuré, et la valeur par défaut utilisera toutes les ressources): Config_proto

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

• Un classificateur embedding_bert_intent_classifier a été ajouté et les fichiers de configuration correspondants sont les suivants:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

• Lorsque le vecteur de base de base utilise Bert, le classificateur backend est terminé à l'aide de l'API Advanced TensorFlow, TF.estimator, tf.data, tf.example, tf.saved_model intent_estimator_classifier_tensorflow_embedding_bert classifier, et le fichier de configuration correspondant est le suivant:

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"

• La forme ultime de RASA-NLU, le fichier de configuration correspondant est le suivant (modifier en 2019.10.01). Vous pouvez vous référer à l'article ci-dessus

Installation rapide

 pip install rasa-nlu-gao

Quelques exemples

Pour des exemples spécifiques, veuillez consulter rasa_chatbot_cn

lien externe

liveportraitweb Novelling whatnovel omniparser sexting comprimirmp4