rasa_nlu_gq

Rasa nlu gq

Rasa NLU (pemahaman bahasa alami) adalah alat untuk memahami semantik alami. Misalnya, situs web resmi adalah sebagai berikut:

"Saya mencari restoran Meksiko di pusat kota"

Dan mengembalikan data terstruktur seperti:

  intent: search_restaurant
  entities: 
    - cuisine : Mexican
    - location : center

Perkenalan

Proyek aslinya ada di cabang 0.2.7 dan dapat diaktifkan dengan bebas. Modifikasi versi ini didasarkan pada versi terbaru RASA. Komponen asli di RASA_NLU_GAO telah dimodifikasi, dan tidak ada penambahan baru yang dibuat. Selain itu, praktik sebelumnya agak rumit dan tidak perlu dimodifikasi dalam kode sumber RASA. Anda dapat secara langsung memuat komponen asli sebagai addon, mewarisi versi RASA terbaru, dan memperbaruinya secara real time.

Fitur baru

Fitur baru yang saat ini ditambahkan adalah sebagai berikut (silakan unduh versi RASA-NLU-GAO terbaru) (edit di 2019.06.24):

• Model baru untuk pengenalan entitas telah ditambahkan, satu adalah BILSTM+CRF dan yang lainnya adalah model konvolusi ekspansi IDCNN+CRF. Konfigurasi file YML yang sesuai adalah sebagai berikut:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    lr: 0.001
    char_dim: 100
    lstm_dim: 100
    batches_per_epoch: 10
    seg_dim: 20
    num_segs: 4
    batch_size: 200
    tag_schema: "iobes"
    model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
    clip: 5
    optimizer: "adam"
    dropout_keep: 0.5
    steps_check: 100

• Modul baru untuk anotasi bagian-of-speech Jieba dapat ditambahkan, yang dapat dengan mudah mengidentifikasi bagian-dari-pidato yang dapat didukung Jieba, seperti nama, nama tempat, nama organisasi, dll. Konfigurasi file YML yang sesuai adalah sebagai berikut:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "rasa_nlu_gao.extractors.jieba_pseg_extractor.JiebaPsegExtractor"
    part_of_speech: ["nr", "ns", "nt"]
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: "(?u)bw+b"
  - name: "EmbeddingIntentClassifier"

• Niat modifikasi terbalik baru berdasarkan entitas telah ditambahkan, dan konfigurasi file yang sesuai adalah sebagai berikut:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CRFEntityExtractor"
  - name: "JiebaPsegExtractor"
  - name: "CountVectorsFeaturizer"
    OOV_token: oov
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
  - name: "rasa_nlu_gao.classifiers.entity_edit_intent.EntityEditIntent"
    entity: ["nr"]
    intent: ["enter_data"]
    min_confidence: 0

• Fitur baru dari kata vektor yang diekstraksi oleh model BET telah ditambahkan, dan file konfigurasi yang sesuai adalah sebagai berikut:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "EmbeddingIntentClassifier"
  - name: "CRFEntityExtractor"

• Konfigurasi baru untuk pemanfaatan CPU dan GPU ditambahkan, terutama EmbeddingIntentClassifier dan ner_bilstm_crf , dua komponen yang menggunakan TensorFlow, dikonfigurasi sebagai berikut (tentu saja, config_proto tidak dapat dikonfigurasi, dan nilai default akan menggunakan semua sumber daya):

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "CountVectorsFeaturizer"
    token_pattern: '(?u)bw+b'
  - name: "EmbeddingIntentClassifier"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }
  - name: "rasa_nlu_gao.extractors.bilstm_crf_entity_extractor.BilstmCRFEntityExtractor"
    config_proto: {
      "device_count": 4,
      "inter_op_parallelism_threads": 0,
      "intra_op_parallelism_threads": 0,
      "allow_growth": True
    }

• Klasifikasi embedding_bert_intent_classifier telah ditambahkan, dan file konfigurasi yang sesuai adalah sebagai berikut:

  language: "zh"

  pipeline:
  - name: "JiebaTokenizer"
  - name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
    ip: '127.0.0.1'
    port: 5555
    port_out: 5556
    show_server_config: True
    timeout: 10000
  - name: "rasa_nlu_gao.classifiers.embedding_bert_intent_classifier.EmbeddingBertIntentClassifier"
  - name: "CRFEntityExtractor"

• When the basic word vector uses bert, the backend classifier is completed using the tensorflow advanced API, tf.estimator,tf.data,tf.example,tf.saved_model intent_estimator_classifier_tensorflow_embedding_bert classifier, and the corresponding configuration file is as follows:

 language: "zh"

pipeline:
- name: "JiebaTokenizer"
- name: "rasa_nlu_gao.featurizers.bert_vectors_featurizer.BertVectorsFeaturizer"
  ip: '127.0.0.1'
  port: 5555
  port_out: 5556
  show_server_config: True
  timeout: 10000
- name: "rasa_nlu_gao.classifiers.embedding_bert_intent_estimator_classifier.EmbeddingBertIntentEstimatorClassifier"
- name: "SpacyNLP"
- name: "CRFEntityExtractor"

• Bentuk utama RASA-NLU, file konfigurasi yang sesuai adalah sebagai berikut (edit pada 2019.10.01). Anda dapat merujuk ke artikel di atas

Instalasi cepat

 pip install rasa-nlu-gao

Beberapa contoh

Untuk contoh tertentu, silakan lihat RASA_CHATBOT_CN

tautan eksternal

liveportraitweb novelling whatnovel omniparser sexting comprimirmp4