rasa_nlu_gq

Rasa nlu gq

Rasa NLU (comprensión del lenguaje natural) es una herramienta para comprender la semántica natural. Por ejemplo, el sitio web oficial es el siguiente:

"Estoy buscando un restaurante mexicano en el centro de la ciudad"

Y devolver datos estructurados como:

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

Introducción

El proyecto original está en la rama 0.2.7 y se puede cambiar libremente. La modificación de esta versión se basa en la última versión de RASA. Se ha modificado el componente original en Rasa_nlu_Gao, y no se han realizado nuevas adiciones. Además, las prácticas anteriores son un poco engorrosas y no necesitan modificarse en el código fuente de RASA. Puede cargar directamente el componente original como complemento, heredar la última versión de Rasa y actualizarlo en tiempo real.

Nuevas características

Las nuevas funciones que se agregan actualmente son las siguientes (descargue la última versión Rasa-Nlu-Gao) (editar en 2019.06.24):

• Se ha agregado un nuevo modelo para el reconocimiento de entidades, uno es BilstM+CRF y el otro es el modelo de convolución de expansión IDCNN+CRF. La configuración del archivo YML correspondiente es la siguiente:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

• Se puede agregar un nuevo módulo para la anotación de parte del discurso de Jieba, que puede identificar fácilmente la parte del discurso que Jieba puede admitir, como nombres, nombres de lugares, nombres de la organización, etc. La configuración del archivo YML correspondiente es la siguiente:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

• Se ha agregado una nueva intención de modificación inversa basada en la entidad, y la configuración del archivo correspondiente es la siguiente:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

• Se ha agregado una nueva característica de la palabra vector extraída por el modelo BET, y los archivos de configuración correspondientes son los siguientes:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

• Se agregan nuevas configuraciones para la utilización de CPU y GPU, principalmente EmbeddingIntentClassifier y ner_bilstm_crf , dos componentes que usan TensorFlow, se configuran de la siguiente manera (por supuesto, config_proto no se puede configurar, y el valor predeterminado utilizará todos los recursos):

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

• Se ha agregado un clasificador embedding_bert_intent_classifier , y los archivos de configuración correspondientes son los siguientes:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

• Cuando el vector de palabra básico usa BERT, el clasificador de backend se completa utilizando la API avanzada TensorFlow, TF.estimator, tf.data, tf.example, tf.saved_model intent_estimator_classifier_tensorflow_embedding_bert clasifier, y el archivo de configuración correspondiente es el siguiente: sigue:

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"

• La forma definitiva de Rasa-NLU, el archivo de configuración correspondiente es el siguiente (editar en 2019.10.01). Puede consultar el artículo anterior

Instalación rápida

 pip install rasa-nlu-gao

Algunos ejemplos

Para ejemplos específicos, consulte Rasa_chatbot_Cn

enlace externo

LivePorTraitWeb Noveling Whatnovel Omniparser Sexting Comprimirmp4