Eunoia-plus:開放域chitchat系統
Eunoia-Plus是一種先進的開放域居住系統,它集成了多個AI模塊以創建動態,智能和自然對話。該系統是使用多模塊架構設計的,使其能夠理解並響應各種域(包括天氣,貨幣等)的用戶輸入。
特徵
模塊化體系結構:系統分為四個關鍵模塊:
- 自然語言理解(NLU) :使用微調的Roberta模型來檢測用戶意圖,並以高度準確地提取必要的信息。
- 意圖驗證:基於XGBoost的模型確保了檢測到的意圖的正確性,有效地處理模棱兩可和重疊的意圖。
- 對話狀態跟踪(DST) :使用基於規則和GPT-3.5 Turbo方法對話狀態進行跟踪,從而在對話流量管理方面具有靈活性。
- 答案生成:利用Bloom和T5模型來生成連貫和上下文適當的響應。
支持各種意圖結構:處理四種意圖:
- 無插槽的意圖。
- 可選插槽的意圖。
- 意圖需要一個必要的插槽。
- 需要多個基本插槽的意圖。
高準確性:該系統在幾個指標中提供了高精度:
- NLU模塊:96%的意圖檢測準確性,97%的插槽填充精度。
- 意圖驗證:精度為95%。
- 對話狀態跟踪:使用基於規則的方法的92%精度,通過基於GPT的方法具有增強的上下文精度。
- 答案生成:通過利用對話歷史和狀態來產生相關的回答。
用法
- 該系統的構建是為了根據開放域數據集處理多轉交談。
- 用戶可以通過命令行與系統進行交互,也可以將其集成到其他對話平台或應用程序中。
- 模塊化體系結構可輕鬆自定義,使其適應不同的域或意圖。
項目結構
nlu/ :包含用於自然語言理解模塊及其數據的代碼。-
api/ :包含用於調用微型模型作為服務器的API代碼。 -
intent_validation/ :基於XGBoost的模塊以驗證檢測到的意圖。 -
dst/ :基於規則和基於GPT-3.5的對話狀態跟踪實現。 -
answer_generation/ :答案生成模型,包括Bloom和T5。
使用的模型
- 羅伯塔:出於意圖檢測和插槽填充。
- XGBoost :用於意圖驗證並確保可靠的意圖解決。
- GPT-3.5渦輪增壓器:用於高級對話狀態跟踪,使用少量學習。
- Bloom和T5 :用於生成上下文相關的響應。
表現
該系統已使用幾個關鍵指標進行了評估:
- 意圖檢測:精度為96%。
- 插槽填充:精度為97%。
- 意圖驗證:精度為95%。
- 對話狀態跟踪:
- 基於規則的:92%的狀態準確性。
- 基於GPT:總體準確性(NLU輸出),100%流利度(對話流)為69.94%。