Eunoia-plus: sistema de chitchat de domínio aberto
Eunoia-plus é um sistema avançado de Chitchat de domínio aberto que integra vários módulos de IA para criar conversas dinâmicas, inteligentes e naturais. O sistema foi projetado usando uma arquitetura de vários módulos, permitindo entender e responder às entradas do usuário em uma ampla gama de domínios, incluindo clima, moeda e muito mais.
Características
Arquitetura modular : o sistema é dividido em quatro módulos principais:
- Entendimento de linguagem natural (NLU) : usa um modelo Roberta ajustado para detectar intenções do usuário e extrair informações necessárias com alta precisão.
- Validação de intenções : um modelo baseado em XGBoost garante a correção das intenções detectadas, lidando com intenções ambíguas e sobrepostas com eficiência.
- Rastreamento de Estado do Diálogo (DST) : acompanha o estado de conversação usando métodos Turbo baseados em regras e GPT-3.5, oferecendo flexibilidade no gerenciamento de fluxo de conversas.
- Geração de respostas : utiliza modelos Bloom e T5 para gerar respostas coerentes e contextualmente apropriadas.
Suporte a várias estruturas de intenção : lida com quatro categorias de intenções:
- Intenções sem slots.
- Intenções com slots opcionais.
- Intenções que requerem um slot essencial.
- Intenções que requerem vários slots essenciais.
Alta precisão : o sistema oferece alta precisão em várias métricas:
- Módulo NLU: precisão de detecção de intenções de 96%, precisão de preenchimento de slot de 97%.
- Validação de intenções: precisão de 95%.
- Rastreamento de estado de diálogo: precisão de 92% usando métodos baseados em regras, com precisão contextual aprimorada por meio de métodos baseados em GPT.
- Geração de respostas: produz respostas relevantes, alavancando o histórico e o estado da conversa.
Uso
- O sistema é criado para lidar com conversas com várias turnos com base em um conjunto de dados de domínio aberto.
- Os usuários podem interagir com o sistema através da linha de comando ou integrá -lo a outras plataformas ou aplicativos de conversação.
- A arquitetura modular permite fácil personalização, tornando -a adaptável a diferentes domínios ou intenções.
Estrutura do projeto
-
nlu/ : contém código para o módulo de compreensão da linguagem natural e seus dados. -
api/ : Contém código da API para chamar o modelo ajustado como servidor. -
intent_validation/ : Módulo baseado em XGBoost para validar intenções detectadas. -
dst/ : Implementações de rastreamento de rastreamento de estado baseado em regras e GPT-3.5. -
answer_generation/ : Modelos de geração de respostas, incluindo Bloom e T5.
Modelos usados
- Roberta : Para detecção de intenções e recheio de slot.
- XGBOOST : Para validação de intenção e garantir uma resolução confiável de intenção.
- GPT-3.5 Turbo : para rastreamento de estado de diálogo avançado usando aprendizado de poucos anos.
- Bloom e T5 : para gerar respostas contextualmente relevantes.
Desempenho
O sistema foi avaliado usando várias métricas importantes:
- Detecção de intenções : precisão de 96%.
- Recheio de slot : precisão de 97%.
- Validação de intenções : precisão de 95%.
- Rastreamento de estado de diálogo :
- Baseado em regras: precisão do estado de 92%.
- Baseado em GPT: 69,94% de precisão geral (saída NLU), fluência 100% (fluxo de conversação).