Download rasa_nlu_gq - rasa_nlu_gq download de código fonte

rasa_nlu_gq

Outro código-fonte

1.0.0

Baixar

Rasa NLU GQ

Rasa NLU (entendimento da linguagem natural) é uma ferramenta para entender a semântica natural. Por exemplo, o site oficial é o seguinte:

"Estou procurando um restaurante mexicano no centro da cidade"

E retornar dados estruturados como:

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

Introdução

O projeto original está na filial 0.2.7 e pode ser alterado livremente. A modificação desta versão é baseada na versão mais recente do RASA. O componente original em rasa_nlu_gao foi modificado e nenhuma nova adição foi feita. Além disso, as práticas anteriores são um pouco pesadas e não precisam ser modificadas no código -fonte da RASA. Você pode carregar diretamente o componente original como addon, herdar a versão mais recente do RASA e atualizá -lo em tempo real.

Novos recursos

Os novos recursos adicionados atualmente são os seguintes (faça o download da mais recente versão Rasa-Nlu-Gao) (editar em 2019.06.24):

Um novo modelo para reconhecimento de entidades foi adicionado, um é o modelo BILSTM+CRF e o outro é o modelo de convolução de expansão IDCNN+CRF. A configuração correspondente de arquivo YML é a seguinte:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

Um novo módulo para a anotação de parte da fala de Jieba pode ser adicionada, que pode identificar facilmente a parte de fala que Jieba pode suportar, como nomes, nomes de lugares, nomes de organizações etc. A configuração de arquivo YML correspondente é a seguinte:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

Uma nova intenção de modificação reversa com base na entidade foi adicionada, e a configuração de arquivos correspondente é a seguinte:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

Um novo recurso da palavra vetor extraído pelo modelo BET foi adicionado e os arquivos de configuração correspondentes são os seguintes:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

São adicionadas novas configurações para a utilização de CPU e GPU, principalmente EmbeddingIntentClassifier dois componentes que usam tensorflow, são configurados da seguinte maneira (é claro, ner_bilstm_crf config_proto não pode ser configurado e o valor padrão utilizará todos os recursos):

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

Um classificador embedding_bert_intent_classifier foi adicionado e os arquivos de configuração correspondentes são os seguintes:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

Quando o vetor básico do Word usa o BERT, o classificador de back -end é concluído usando a API avançada do TensorFlow, tf.estimator, tf.data, tf.example, tf.saved_model intent_estimator_classifier_tensorflow_embedding_bert Classificador, e o arquivo de correspondência é como o FILHE é o FILLESTURTURTENSOFLEGROFLIGHT_BERTROWLEGROFLIGNION: e o arquivo de correspondência é como o FILHEs

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"