rasa_nlu_gq Скачать - rasa_nlu_gq Скачать исходный код

rasa_nlu_gq

Другой исходный код

1.0.0

Скачать

Rasa Nlu GQ

RASA NLU (понимание естественного языка) - это инструмент для понимания естественной семантики. Например, официальный сайт заключается в следующем:

«Я ищу мексиканский ресторан в центре города»

И возвращение структурированных данных, таких как:

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

Введение

Первоначальный проект находится на филиале 0.2.7 и может быть свободно переключаться. Модификация этой версии основана на последней версии RASA. Оригинальный компонент в RASA_NLU_GAO был изменен, и никаких новых дополнений не было. Более того, предыдущие практики немного громоздки и не должны быть изменены в исходном коде RASA. Вы можете напрямую загрузить исходный компонент как аддон, наследовать последнюю версию RASA и обновить его в режиме реального времени.

Новые функции

Новые функции добавлены в настоящее время следующие (пожалуйста, загрузите последнюю версию Rasa-Nlu-Gao) (редактировать на 2019.06.24):

Была добавлена новая модель для распознавания сущностей, одна - Bilstm+CRF, а другая - модель расширения CRF IDCNN+CRF. Соответствующая конфигурация файла YML заключается в следующем:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

Можно добавить новый модуль для аннотации части речи Jieba, который может легко идентифицировать часть речи, которую может поддержать Цзяба, например, имена, имена мест, имена организаций и т. Д. Соответствующая конфигурация файла YML выглядит следующим образом:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

Было добавлено новое намерение обратной модификации на основе объекта, и соответствующая конфигурация файла заключается в следующем:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

Была добавлена новая функция вектора слова, извлеченного моделью BET BET, и соответствующие файлы конфигурации следующие:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

Добавлены новые конфигурации для использования ЦП и графических процессоров, в основном в основном EmbeddingIntentClassifier и ner_bilstm_crf , два компонента, которые используют TensorFlow, настроены следующим образом (конечно, config_proto не может быть настроено, а значение по умолчанию будет использовать все ресурсы): COUNT, COUNTIN

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

Был добавлен классификатор embedding_bert_intent_classifier , и соответствующие файлы конфигурации следующие:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

Когда базовый вектор Word использует BERT, бэкэнд -классификатор завершается с использованием расширенного API TensorFlow, TF.ESTIMATOR, TF.DATA, TF.Example, TF.SAVED_MODEL intent_estimator_classifier_tensorflow_embedding_bert Classifier, а соответствующий файл конфигурации в качестве следующего: в качестве следующего: в качестве следующего:

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"

Конечная форма RASA-NLU, соответствующий файл конфигурации, заключается в следующем (редактирование на 2019.10.01). Вы можете обратиться к вышеуказанной статье